Python 3.7.7 (default, Mar 26 2020, 15:48:22)

Type "copyright", "credits" or "license" for more information.


IPython 7.13.0 -- An enhanced Interactive Python.


In [1]: runfile('/home/administrator/Documents/OU/Deep_learning/project/DeepLearning_PlantDiseases/Scripts/overfit_study.py', wdir='/home/administrator/Documents/OU/Deep_learning/project/DeepLearning_PlantDiseases/Scripts')

shallow_train shallow_test scratch_train scratch_test deep_train deep_test

0 NaN NaN NaN NaN NaN NaN

1 NaN NaN NaN NaN NaN NaN

2 NaN NaN NaN NaN NaN NaN

3 NaN NaN NaN NaN NaN NaN

4 NaN NaN NaN NaN NaN NaN

5 NaN NaN NaN NaN NaN NaN

6 NaN NaN NaN NaN NaN NaN

7 NaN NaN NaN NaN NaN NaN

8 NaN NaN NaN NaN NaN NaN

9 NaN NaN NaN NaN NaN NaN

10 NaN NaN NaN NaN NaN NaN

11 NaN NaN NaN NaN NaN NaN

12 NaN NaN NaN NaN NaN NaN

13 NaN NaN NaN NaN NaN NaN

14 NaN NaN NaN NaN NaN NaN

15 NaN NaN NaN NaN NaN NaN

16 NaN NaN NaN NaN NaN NaN

17 NaN NaN NaN NaN NaN NaN

18 NaN NaN NaN NaN NaN NaN

19 NaN NaN NaN NaN NaN NaN

20 NaN NaN NaN NaN NaN NaN

21 NaN NaN NaN NaN NaN NaN

22 NaN NaN NaN NaN NaN NaN

23 NaN NaN NaN NaN NaN NaN

24 NaN NaN NaN NaN NaN NaN

25 NaN NaN NaN NaN NaN NaN

26 NaN NaN NaN NaN NaN NaN

27 NaN NaN NaN NaN NaN NaN

28 NaN NaN NaN NaN NaN NaN

29 NaN NaN NaN NaN NaN NaN

30 NaN NaN NaN NaN NaN NaN

31 NaN NaN NaN NaN NaN NaN

32 NaN NaN NaN NaN NaN NaN

33 NaN NaN NaN NaN NaN NaN

34 NaN NaN NaN NaN NaN NaN

35 NaN NaN NaN NaN NaN NaN

36 NaN NaN NaN NaN NaN NaN

37 NaN NaN NaN NaN NaN NaN

38 NaN NaN NaN NaN NaN NaN

39 NaN NaN NaN NaN NaN NaN

Directory ovft_intermediate_models already exists

---------------------

TRAINING from scratch


Targeting alexnet with 39 classes

------------------------------------------

Resizing input images to max of (224, 224)

Transfering models to GPU(s)

/home/administrator/anaconda3/envs/torch_nvidia_390/lib/python3.7/site-packages/torchvision/transforms/transforms.py:562: UserWarning: The use of the transforms.RandomSizedCrop transform is deprecated, please use transforms.RandomResizedCrop instead.

warnings.warn("The use of the transforms.RandomSizedCrop transform is deprecated, " +

/home/administrator/anaconda3/envs/torch_nvidia_390/lib/python3.7/site-packages/torchvision/transforms/transforms.py:187: UserWarning: The use of the transforms.Scale transform is deprecated, please use transforms.Resize instead.

warnings.warn("The use of the transforms.Scale transform is deprecated, " +

Training...

[1, 30] loss: 3.660

[1, 60] loss: 3.652

[1, 90] loss: 3.643

[1, 120] loss: 3.635

[1, 150] loss: 3.625

[1, 180] loss: 3.608

[1, 210] loss: 3.605

[1, 240] loss: 3.562

[1, 270] loss: 3.452

[1, 300] loss: 3.339

[1, 330] loss: 3.343

[1, 360] loss: 3.391

[1, 390] loss: 3.359

[1, 420] loss: 3.346

[1, 450] loss: 3.352

[1, 480] loss: 3.323

[1, 510] loss: 3.255

[1, 540] loss: 3.303

[1, 570] loss: 3.254

[1, 600] loss: 3.214

[1, 630] loss: 3.266

[1, 660] loss: 3.200

[1, 690] loss: 3.228

[1, 720] loss: 3.156

[1, 750] loss: 3.223

[1, 780] loss: 3.196

[1, 810] loss: 3.216

[1, 840] loss: 3.180

[1, 870] loss: 3.164

[1, 900] loss: 3.202

[1, 930] loss: 3.181

[1, 960] loss: 3.057

[1, 990] loss: 3.005

[1, 1020] loss: 3.065

[1, 1050] loss: 2.995

[1, 1080] loss: 3.073

[1, 1110] loss: 3.027

[1, 1140] loss: 2.978

[1, 1170] loss: 3.059

[1, 1200] loss: 3.084

[1, 1230] loss: 2.949

[1, 1260] loss: 2.973

[1, 1290] loss: 2.859

[1, 1320] loss: 3.011

[1, 1350] loss: 3.005

[1, 1380] loss: 2.917

[1, 1410] loss: 2.862

[1, 1440] loss: 2.976

[1, 1470] loss: 2.994

[1, 1500] loss: 2.908

[1, 1530] loss: 2.915

[1, 1560] loss: 2.788

[1, 1590] loss: 2.944

[1, 1620] loss: 2.708

[1, 1650] loss: 2.954

[1, 1680] loss: 2.818

[1, 1710] loss: 2.743

[1, 1740] loss: 2.856

[1, 1770] loss: 2.810

[1, 1800] loss: 2.732

[1, 1830] loss: 2.718

[1, 1860] loss: 2.810

[1, 1890] loss: 2.639

[1, 1920] loss: 2.674

[1, 1950] loss: 2.784

[1, 1980] loss: 2.760

[1, 2010] loss: 2.702

[1, 2040] loss: 2.613

[1, 2070] loss: 2.622

[1, 2100] loss: 2.514

[1, 2130] loss: 2.748

[1, 2160] loss: 2.570

[1, 2190] loss: 2.645

ovft_intermediate_models/epoch0_scratch.pt saved.


evaluating on training set...

Accuracy on test images: 0.277854

epoch 0 accuracy on train set is: 0.27785350781533985

evaluating on training set takes 64 seconds.

shallow_train shallow_test scratch_train scratch_test deep_train deep_test

0 NaN NaN 0.277854 NaN NaN NaN

1 NaN NaN NaN NaN NaN NaN

2 NaN NaN NaN NaN NaN NaN

3 NaN NaN NaN NaN NaN NaN

4 NaN NaN NaN NaN NaN NaN

5 NaN NaN NaN NaN NaN NaN

6 NaN NaN NaN NaN NaN NaN

7 NaN NaN NaN NaN NaN NaN

8 NaN NaN NaN NaN NaN NaN

9 NaN NaN NaN NaN NaN NaN

10 NaN NaN NaN NaN NaN NaN

11 NaN NaN NaN NaN NaN NaN

12 NaN NaN NaN NaN NaN NaN

13 NaN NaN NaN NaN NaN NaN

14 NaN NaN NaN NaN NaN NaN

15 NaN NaN NaN NaN NaN NaN

16 NaN NaN NaN NaN NaN NaN

17 NaN NaN NaN NaN NaN NaN

18 NaN NaN NaN NaN NaN NaN

19 NaN NaN NaN NaN NaN NaN

20 NaN NaN NaN NaN NaN NaN

21 NaN NaN NaN NaN NaN NaN

22 NaN NaN NaN NaN NaN NaN

23 NaN NaN NaN NaN NaN NaN

24 NaN NaN NaN NaN NaN NaN

25 NaN NaN NaN NaN NaN NaN

26 NaN NaN NaN NaN NaN NaN

27 NaN NaN NaN NaN NaN NaN

28 NaN NaN NaN NaN NaN NaN

29 NaN NaN NaN NaN NaN NaN

30 NaN NaN NaN NaN NaN NaN

31 NaN NaN NaN NaN NaN NaN

32 NaN NaN NaN NaN NaN NaN

33 NaN NaN NaN NaN NaN NaN

34 NaN NaN NaN NaN NaN NaN

35 NaN NaN NaN NaN NaN NaN

36 NaN NaN NaN NaN NaN NaN

37 NaN NaN NaN NaN NaN NaN

38 NaN NaN NaN NaN NaN NaN

39 NaN NaN NaN NaN NaN NaN

evaluating on test set...

Accuracy on test images: 0.251999

epoch 0 accuracy on test set is: 0.2519992729916394

evaluating on test set takes 17 seconds.

shallow_train shallow_test scratch_train scratch_test deep_train deep_test

0 NaN NaN 0.277854 0.251999 NaN NaN

1 NaN NaN NaN NaN NaN NaN

2 NaN NaN NaN NaN NaN NaN

3 NaN NaN NaN NaN NaN NaN

4 NaN NaN NaN NaN NaN NaN

5 NaN NaN NaN NaN NaN NaN

6 NaN NaN NaN NaN NaN NaN

7 NaN NaN NaN NaN NaN NaN

8 NaN NaN NaN NaN NaN NaN

9 NaN NaN NaN NaN NaN NaN

10 NaN NaN NaN NaN NaN NaN

11 NaN NaN NaN NaN NaN NaN

12 NaN NaN NaN NaN NaN NaN

13 NaN NaN NaN NaN NaN NaN

14 NaN NaN NaN NaN NaN NaN

15 NaN NaN NaN NaN NaN NaN

16 NaN NaN NaN NaN NaN NaN

17 NaN NaN NaN NaN NaN NaN

18 NaN NaN NaN NaN NaN NaN

19 NaN NaN NaN NaN NaN NaN

20 NaN NaN NaN NaN NaN NaN

21 NaN NaN NaN NaN NaN NaN

22 NaN NaN NaN NaN NaN NaN

23 NaN NaN NaN NaN NaN NaN

24 NaN NaN NaN NaN NaN NaN

25 NaN NaN NaN NaN NaN NaN

26 NaN NaN NaN NaN NaN NaN

27 NaN NaN NaN NaN NaN NaN

28 NaN NaN NaN NaN NaN NaN

29 NaN NaN NaN NaN NaN NaN

30 NaN NaN NaN NaN NaN NaN

31 NaN NaN NaN NaN NaN NaN

32 NaN NaN NaN NaN NaN NaN

33 NaN NaN NaN NaN NaN NaN

34 NaN NaN NaN NaN NaN NaN

35 NaN NaN NaN NaN NaN NaN

36 NaN NaN NaN NaN NaN NaN

37 NaN NaN NaN NaN NaN NaN

38 NaN NaN NaN NaN NaN NaN

39 NaN NaN NaN NaN NaN NaN

epoch 0 takes 324 seconds.

[2, 30] loss: 2.639

[2, 60] loss: 2.598

[2, 90] loss: 2.482

[2, 120] loss: 2.577

[2, 150] loss: 2.438

[2, 180] loss: 2.508

[2, 210] loss: 2.494

[2, 240] loss: 2.556

[2, 270] loss: 2.391

[2, 300] loss: 2.472

[2, 330] loss: 2.385

[2, 360] loss: 2.514

[2, 390] loss: 2.384

[2, 420] loss: 2.430

[2, 450] loss: 2.411

[2, 480] loss: 2.400

[2, 510] loss: 2.411

[2, 540] loss: 2.305

[2, 570] loss: 2.309

[2, 600] loss: 2.404

[2, 630] loss: 2.299

[2, 660] loss: 2.450

[2, 690] loss: 2.398

[2, 720] loss: 2.366

[2, 750] loss: 2.314

[2, 780] loss: 2.293

[2, 810] loss: 2.169

[2, 840] loss: 2.217

[2, 870] loss: 2.254

[2, 900] loss: 2.162

[2, 930] loss: 2.245

[2, 960] loss: 2.268

[2, 990] loss: 2.198

[2, 1020] loss: 2.202

[2, 1050] loss: 2.229

[2, 1080] loss: 1.915

[2, 1110] loss: 2.168

[2, 1140] loss: 2.183

[2, 1170] loss: 2.292

[2, 1200] loss: 2.129

[2, 1230] loss: 2.216

[2, 1260] loss: 2.054

[2, 1290] loss: 2.098

[2, 1320] loss: 1.983

[2, 1350] loss: 2.139

[2, 1380] loss: 2.038

[2, 1410] loss: 2.104

[2, 1440] loss: 1.976

[2, 1470] loss: 2.126

[2, 1500] loss: 2.040

[2, 1530] loss: 1.983

[2, 1560] loss: 1.978

[2, 1590] loss: 1.994

[2, 1620] loss: 2.046

[2, 1650] loss: 2.156

[2, 1680] loss: 2.063

[2, 1710] loss: 2.069

[2, 1740] loss: 2.032

[2, 1770] loss: 1.876

[2, 1800] loss: 1.937

[2, 1830] loss: 1.875

[2, 1860] loss: 1.915

[2, 1890] loss: 1.766

[2, 1920] loss: 1.826

[2, 1950] loss: 1.978

[2, 1980] loss: 1.881

[2, 2010] loss: 1.770

[2, 2040] loss: 1.914

[2, 2070] loss: 1.947

[2, 2100] loss: 1.746

[2, 2130] loss: 1.745

[2, 2160] loss: 1.760

[2, 2190] loss: 1.839

ovft_intermediate_models/epoch1_scratch.pt saved.


evaluating on training set...

Accuracy on test images: 0.473737

epoch 1 accuracy on train set is: 0.4737368229734642

evaluating on training set takes 68 seconds.

shallow_train shallow_test scratch_train scratch_test deep_train deep_test

0 NaN NaN 0.277854 0.251999 NaN NaN

1 NaN NaN 0.473737 NaN NaN NaN

2 NaN NaN NaN NaN NaN NaN

3 NaN NaN NaN NaN NaN NaN

4 NaN NaN NaN NaN NaN NaN

5 NaN NaN NaN NaN NaN NaN

6 NaN NaN NaN NaN NaN NaN

7 NaN NaN NaN NaN NaN NaN

8 NaN NaN NaN NaN NaN NaN

9 NaN NaN NaN NaN NaN NaN

10 NaN NaN NaN NaN NaN NaN

11 NaN NaN NaN NaN NaN NaN

12 NaN NaN NaN NaN NaN NaN

13 NaN NaN NaN NaN NaN NaN

14 NaN NaN NaN NaN NaN NaN

15 NaN NaN NaN NaN NaN NaN

16 NaN NaN NaN NaN NaN NaN

17 NaN NaN NaN NaN NaN NaN

18 NaN NaN NaN NaN NaN NaN

19 NaN NaN NaN NaN NaN NaN

20 NaN NaN NaN NaN NaN NaN

21 NaN NaN NaN NaN NaN NaN

22 NaN NaN NaN NaN NaN NaN

23 NaN NaN NaN NaN NaN NaN

24 NaN NaN NaN NaN NaN NaN

25 NaN NaN NaN NaN NaN NaN

26 NaN NaN NaN NaN NaN NaN

27 NaN NaN NaN NaN NaN NaN

28 NaN NaN NaN NaN NaN NaN

29 NaN NaN NaN NaN NaN NaN

30 NaN NaN NaN NaN NaN NaN

31 NaN NaN NaN NaN NaN NaN

32 NaN NaN NaN NaN NaN NaN

33 NaN NaN NaN NaN NaN NaN

34 NaN NaN NaN NaN NaN NaN

35 NaN NaN NaN NaN NaN NaN

36 NaN NaN NaN NaN NaN NaN

37 NaN NaN NaN NaN NaN NaN

38 NaN NaN NaN NaN NaN NaN

39 NaN NaN NaN NaN NaN NaN

evaluating on test set...

Accuracy on test images: 0.542803

epoch 1 accuracy on test set is: 0.5428026172300982

evaluating on test set takes 17 seconds.

shallow_train shallow_test scratch_train scratch_test deep_train deep_test

0 NaN NaN 0.277854 0.251999 NaN NaN

1 NaN NaN 0.473737 0.542803 NaN NaN

2 NaN NaN NaN NaN NaN NaN

3 NaN NaN NaN NaN NaN NaN

4 NaN NaN NaN NaN NaN NaN

5 NaN NaN NaN NaN NaN NaN

6 NaN NaN NaN NaN NaN NaN

7 NaN NaN NaN NaN NaN NaN

8 NaN NaN NaN NaN NaN NaN

9 NaN NaN NaN NaN NaN NaN

10 NaN NaN NaN NaN NaN NaN

11 NaN NaN NaN NaN NaN NaN

12 NaN NaN NaN NaN NaN NaN

13 NaN NaN NaN NaN NaN NaN

14 NaN NaN NaN NaN NaN NaN

15 NaN NaN NaN NaN NaN NaN

16 NaN NaN NaN NaN NaN NaN

17 NaN NaN NaN NaN NaN NaN

18 NaN NaN NaN NaN NaN NaN

19 NaN NaN NaN NaN NaN NaN

20 NaN NaN NaN NaN NaN NaN

21 NaN NaN NaN NaN NaN NaN

22 NaN NaN NaN NaN NaN NaN

23 NaN NaN NaN NaN NaN NaN

24 NaN NaN NaN NaN NaN NaN

25 NaN NaN NaN NaN NaN NaN

26 NaN NaN NaN NaN NaN NaN

27 NaN NaN NaN NaN NaN NaN

28 NaN NaN NaN NaN NaN NaN

29 NaN NaN NaN NaN NaN NaN

30 NaN NaN NaN NaN NaN NaN

31 NaN NaN NaN NaN NaN NaN

32 NaN NaN NaN NaN NaN NaN

33 NaN NaN NaN NaN NaN NaN

34 NaN NaN NaN NaN NaN NaN

35 NaN NaN NaN NaN NaN NaN

36 NaN NaN NaN NaN NaN NaN

37 NaN NaN NaN NaN NaN NaN

38 NaN NaN NaN NaN NaN NaN

39 NaN NaN NaN NaN NaN NaN

epoch 1 takes 344 seconds.

[3, 30] loss: 1.915

[3, 60] loss: 1.715

[3, 90] loss: 1.643

[3, 120] loss: 1.819

[3, 150] loss: 1.765

[3, 180] loss: 1.766

[3, 210] loss: 1.718

[3, 240] loss: 1.707

[3, 270] loss: 1.641

[3, 300] loss: 1.791

[3, 330] loss: 1.741

[3, 360] loss: 1.868

[3, 390] loss: 1.744

[3, 420] loss: 1.644

[3, 450] loss: 1.690

[3, 480] loss: 1.627

[3, 510] loss: 1.678

[3, 540] loss: 1.606

[3, 570] loss: 1.658

[3, 600] loss: 1.688

[3, 630] loss: 1.619

[3, 660] loss: 1.507

[3, 690] loss: 1.452

[3, 720] loss: 1.592

[3, 750] loss: 1.675

[3, 780] loss: 1.644

[3, 810] loss: 1.450

[3, 840] loss: 1.576

[3, 870] loss: 1.484

[3, 900] loss: 1.662

[3, 930] loss: 1.542

[3, 960] loss: 1.502

[3, 990] loss: 1.630

[3, 1020] loss: 1.523

[3, 1050] loss: 1.508

[3, 1080] loss: 1.372

[3, 1110] loss: 1.483

[3, 1140] loss: 1.459

[3, 1170] loss: 1.416

[3, 1200] loss: 1.408

[3, 1230] loss: 1.476

[3, 1260] loss: 1.428

[3, 1290] loss: 1.451

[3, 1320] loss: 1.406

[3, 1350] loss: 1.531

[3, 1380] loss: 1.596

[3, 1410] loss: 1.441

[3, 1440] loss: 1.464

[3, 1470] loss: 1.474

[3, 1500] loss: 1.482

[3, 1530] loss: 1.464

[3, 1560] loss: 1.354

[3, 1590] loss: 1.397

[3, 1620] loss: 1.444

[3, 1650] loss: 1.162

[3, 1680] loss: 1.352

[3, 1710] loss: 1.399

[3, 1740] loss: 1.513

[3, 1770] loss: 1.348

[3, 1800] loss: 1.304

[3, 1830] loss: 1.393

[3, 1860] loss: 1.357

[3, 1890] loss: 1.336

[3, 1920] loss: 1.266

[3, 1950] loss: 1.276

[3, 1980] loss: 1.454

[3, 2010] loss: 1.275

[3, 2040] loss: 1.256

[3, 2070] loss: 1.461

[3, 2100] loss: 1.260

[3, 2130] loss: 1.326

[3, 2160] loss: 1.387

[3, 2190] loss: 1.278

ovft_intermediate_models/epoch2_scratch.pt saved.


evaluating on training set...

Accuracy on test images: 0.651877

epoch 2 accuracy on train set is: 0.6518765903307888

evaluating on training set takes 68 seconds.

shallow_train shallow_test scratch_train scratch_test deep_train deep_test

0 NaN NaN 0.277854 0.251999 NaN NaN

1 NaN NaN 0.473737 0.542803 NaN NaN

2 NaN NaN 0.651877 NaN NaN NaN

3 NaN NaN NaN NaN NaN NaN

4 NaN NaN NaN NaN NaN NaN

5 NaN NaN NaN NaN NaN NaN

6 NaN NaN NaN NaN NaN NaN

7 NaN NaN NaN NaN NaN NaN

8 NaN NaN NaN NaN NaN NaN

9 NaN NaN NaN NaN NaN NaN

10 NaN NaN NaN NaN NaN NaN

11 NaN NaN NaN NaN NaN NaN

12 NaN NaN NaN NaN NaN NaN

13 NaN NaN NaN NaN NaN NaN

14 NaN NaN NaN NaN NaN NaN

15 NaN NaN NaN NaN NaN NaN

16 NaN NaN NaN NaN NaN NaN

17 NaN NaN NaN NaN NaN NaN

18 NaN NaN NaN NaN NaN NaN

19 NaN NaN NaN NaN NaN NaN

20 NaN NaN NaN NaN NaN NaN

21 NaN NaN NaN NaN NaN NaN

22 NaN NaN NaN NaN NaN NaN

23 NaN NaN NaN NaN NaN NaN

24 NaN NaN NaN NaN NaN NaN

25 NaN NaN NaN NaN NaN NaN

26 NaN NaN NaN NaN NaN NaN

27 NaN NaN NaN NaN NaN NaN

28 NaN NaN NaN NaN NaN NaN

29 NaN NaN NaN NaN NaN NaN

30 NaN NaN NaN NaN NaN NaN

31 NaN NaN NaN NaN NaN NaN

32 NaN NaN NaN NaN NaN NaN

33 NaN NaN NaN NaN NaN NaN

34 NaN NaN NaN NaN NaN NaN

35 NaN NaN NaN NaN NaN NaN

36 NaN NaN NaN NaN NaN NaN

37 NaN NaN NaN NaN NaN NaN

38 NaN NaN NaN NaN NaN NaN

39 NaN NaN NaN NaN NaN NaN

evaluating on test set...

Accuracy on test images: 0.724555

epoch 2 accuracy on test set is: 0.7245547073791349

evaluating on test set takes 17 seconds.

shallow_train shallow_test scratch_train scratch_test deep_train deep_test

0 NaN NaN 0.277854 0.251999 NaN NaN

1 NaN NaN 0.473737 0.542803 NaN NaN

2 NaN NaN 0.651877 0.724555 NaN NaN

3 NaN NaN NaN NaN NaN NaN

4 NaN NaN NaN NaN NaN NaN

5 NaN NaN NaN NaN NaN NaN

6 NaN NaN NaN NaN NaN NaN

7 NaN NaN NaN NaN NaN NaN

8 NaN NaN NaN NaN NaN NaN

9 NaN NaN NaN NaN NaN NaN

10 NaN NaN NaN NaN NaN NaN

11 NaN NaN NaN NaN NaN NaN

12 NaN NaN NaN NaN NaN NaN

13 NaN NaN NaN NaN NaN NaN

14 NaN NaN NaN NaN NaN NaN

15 NaN NaN NaN NaN NaN NaN

16 NaN NaN NaN NaN NaN NaN

17 NaN NaN NaN NaN NaN NaN

18 NaN NaN NaN NaN NaN NaN

19 NaN NaN NaN NaN NaN NaN

20 NaN NaN NaN NaN NaN NaN

21 NaN NaN NaN NaN NaN NaN

22 NaN NaN NaN NaN NaN NaN

23 NaN NaN NaN NaN NaN NaN

24 NaN NaN NaN NaN NaN NaN

25 NaN NaN NaN NaN NaN NaN

26 NaN NaN NaN NaN NaN NaN

27 NaN NaN NaN NaN NaN NaN

28 NaN NaN NaN NaN NaN NaN

29 NaN NaN NaN NaN NaN NaN

30 NaN NaN NaN NaN NaN NaN

31 NaN NaN NaN NaN NaN NaN

32 NaN NaN NaN NaN NaN NaN

33 NaN NaN NaN NaN NaN NaN

34 NaN NaN NaN NaN NaN NaN

35 NaN NaN NaN NaN NaN NaN

36 NaN NaN NaN NaN NaN NaN

37 NaN NaN NaN NaN NaN NaN

38 NaN NaN NaN NaN NaN NaN

39 NaN NaN NaN NaN NaN NaN

epoch 2 takes 343 seconds.

[4, 30] loss: 1.218

[4, 60] loss: 1.222

[4, 90] loss: 1.215

[4, 120] loss: 1.281

[4, 150] loss: 1.283

[4, 180] loss: 1.177

[4, 210] loss: 1.325

[4, 240] loss: 1.211

[4, 270] loss: 1.328

[4, 300] loss: 1.231

[4, 330] loss: 1.318

[4, 360] loss: 1.228

[4, 390] loss: 1.276

[4, 420] loss: 1.230

[4, 450] loss: 1.227

[4, 480] loss: 1.073

[4, 510] loss: 1.118

[4, 540] loss: 1.231

[4, 570] loss: 1.164

[4, 600] loss: 1.199

[4, 630] loss: 1.168

[4, 660] loss: 1.220

[4, 690] loss: 1.136

[4, 720] loss: 1.189

[4, 750] loss: 1.191

[4, 780] loss: 1.179

[4, 810] loss: 1.138

[4, 840] loss: 1.156

[4, 870] loss: 1.171

[4, 900] loss: 1.025

[4, 930] loss: 1.212

[4, 960] loss: 1.101

[4, 990] loss: 1.140

[4, 1020] loss: 1.111

[4, 1050] loss: 1.062

[4, 1080] loss: 1.080

[4, 1110] loss: 0.948

[4, 1140] loss: 1.118

[4, 1170] loss: 1.128

[4, 1200] loss: 1.141

[4, 1230] loss: 0.977

[4, 1260] loss: 1.120

[4, 1290] loss: 1.071

[4, 1320] loss: 1.069

[4, 1350] loss: 1.067

[4, 1380] loss: 1.084

[4, 1410] loss: 0.856

[4, 1440] loss: 1.099

[4, 1470] loss: 1.112

[4, 1500] loss: 1.079

[4, 1530] loss: 1.130

[4, 1560] loss: 0.920

[4, 1590] loss: 1.035

[4, 1620] loss: 1.108

[4, 1650] loss: 0.922

[4, 1680] loss: 0.979

[4, 1710] loss: 0.959

[4, 1740] loss: 1.039

[4, 1770] loss: 0.964

[4, 1800] loss: 1.055

[4, 1830] loss: 0.854

[4, 1860] loss: 0.974

[4, 1890] loss: 1.155

[4, 1920] loss: 0.983

[4, 1950] loss: 1.037

[4, 1980] loss: 0.963

[4, 2010] loss: 0.908

[4, 2040] loss: 1.009

[4, 2070] loss: 0.970

[4, 2100] loss: 0.921

[4, 2130] loss: 0.929

[4, 2160] loss: 1.044

[4, 2190] loss: 0.958

ovft_intermediate_models/epoch3_scratch.pt saved.


evaluating on training set...

Accuracy on test images: 0.742321

epoch 3 accuracy on train set is: 0.7423209741912032

evaluating on training set takes 67 seconds.

shallow_train shallow_test scratch_train scratch_test deep_train deep_test

0 NaN NaN 0.277854 0.251999 NaN NaN

1 NaN NaN 0.473737 0.542803 NaN NaN

2 NaN NaN 0.651877 0.724555 NaN NaN

3 NaN NaN 0.742321 NaN NaN NaN

4 NaN NaN NaN NaN NaN NaN

5 NaN NaN NaN NaN NaN NaN

6 NaN NaN NaN NaN NaN NaN

7 NaN NaN NaN NaN NaN NaN

8 NaN NaN NaN NaN NaN NaN

9 NaN NaN NaN NaN NaN NaN

10 NaN NaN NaN NaN NaN NaN

11 NaN NaN NaN NaN NaN NaN

12 NaN NaN NaN NaN NaN NaN

13 NaN NaN NaN NaN NaN NaN

14 NaN NaN NaN NaN NaN NaN

15 NaN NaN NaN NaN NaN NaN

16 NaN NaN NaN NaN NaN NaN

17 NaN NaN NaN NaN NaN NaN

18 NaN NaN NaN NaN NaN NaN

19 NaN NaN NaN NaN NaN NaN

20 NaN NaN NaN NaN NaN NaN

21 NaN NaN NaN NaN NaN NaN

22 NaN NaN NaN NaN NaN NaN

23 NaN NaN NaN NaN NaN NaN

24 NaN NaN NaN NaN NaN NaN

25 NaN NaN NaN NaN NaN NaN

26 NaN NaN NaN NaN NaN NaN

27 NaN NaN NaN NaN NaN NaN

28 NaN NaN NaN NaN NaN NaN

29 NaN NaN NaN NaN NaN NaN

30 NaN NaN NaN NaN NaN NaN

31 NaN NaN NaN NaN NaN NaN

32 NaN NaN NaN NaN NaN NaN

33 NaN NaN NaN NaN NaN NaN

34 NaN NaN NaN NaN NaN NaN

35 NaN NaN NaN NaN NaN NaN

36 NaN NaN NaN NaN NaN NaN

37 NaN NaN NaN NaN NaN NaN

38 NaN NaN NaN NaN NaN NaN

39 NaN NaN NaN NaN NaN NaN

evaluating on test set...

Accuracy on test images: 0.831970

epoch 3 accuracy on test set is: 0.8319701926572156

evaluating on test set takes 17 seconds.

shallow_train shallow_test scratch_train scratch_test deep_train deep_test

0 NaN NaN 0.277854 0.251999 NaN NaN

1 NaN NaN 0.473737 0.542803 NaN NaN

2 NaN NaN 0.651877 0.724555 NaN NaN

3 NaN NaN 0.742321 0.83197 NaN NaN

4 NaN NaN NaN NaN NaN NaN

5 NaN NaN NaN NaN NaN NaN

6 NaN NaN NaN NaN NaN NaN

7 NaN NaN NaN NaN NaN NaN

8 NaN NaN NaN NaN NaN NaN

9 NaN NaN NaN NaN NaN NaN

10 NaN NaN NaN NaN NaN NaN

11 NaN NaN NaN NaN NaN NaN

12 NaN NaN NaN NaN NaN NaN

13 NaN NaN NaN NaN NaN NaN

14 NaN NaN NaN NaN NaN NaN

15 NaN NaN NaN NaN NaN NaN

16 NaN NaN NaN NaN NaN NaN

17 NaN NaN NaN NaN NaN NaN

18 NaN NaN NaN NaN NaN NaN

19 NaN NaN NaN NaN NaN NaN

20 NaN NaN NaN NaN NaN NaN

21 NaN NaN NaN NaN NaN NaN

22 NaN NaN NaN NaN NaN NaN

23 NaN NaN NaN NaN NaN NaN

24 NaN NaN NaN NaN NaN NaN

25 NaN NaN NaN NaN NaN NaN

26 NaN NaN NaN NaN NaN NaN

27 NaN NaN NaN NaN NaN NaN

28 NaN NaN NaN NaN NaN NaN

29 NaN NaN NaN NaN NaN NaN

30 NaN NaN NaN NaN NaN NaN

31 NaN NaN NaN NaN NaN NaN

32 NaN NaN NaN NaN NaN NaN

33 NaN NaN NaN NaN NaN NaN

34 NaN NaN NaN NaN NaN NaN

35 NaN NaN NaN NaN NaN NaN

36 NaN NaN NaN NaN NaN NaN

37 NaN NaN NaN NaN NaN NaN

38 NaN NaN NaN NaN NaN NaN

39 NaN NaN NaN NaN NaN NaN

epoch 3 takes 340 seconds.

[5, 30] loss: 0.971

[5, 60] loss: 0.879

[5, 90] loss: 1.015

[5, 120] loss: 0.897

[5, 150] loss: 0.885

[5, 180] loss: 1.085

[5, 210] loss: 0.883

[5, 240] loss: 0.890

[5, 270] loss: 0.796

[5, 300] loss: 0.912

[5, 330] loss: 0.773

[5, 360] loss: 0.959

[5, 390] loss: 1.016

[5, 420] loss: 0.939

[5, 450] loss: 0.875

[5, 480] loss: 0.891

[5, 510] loss: 0.846

[5, 540] loss: 0.902

[5, 570] loss: 0.897

[5, 600] loss: 0.851

[5, 630] loss: 0.981

[5, 660] loss: 0.909

[5, 690] loss: 0.949

[5, 720] loss: 0.971

[5, 750] loss: 0.901

[5, 780] loss: 0.859

[5, 810] loss: 0.963

[5, 840] loss: 0.881

[5, 870] loss: 0.887

[5, 900] loss: 0.806

[5, 930] loss: 0.912

[5, 960] loss: 0.855

[5, 990] loss: 0.873

[5, 1020] loss: 0.787

[5, 1050] loss: 0.660

[5, 1080] loss: 0.976

[5, 1110] loss: 0.859

[5, 1140] loss: 0.815

[5, 1170] loss: 0.750

[5, 1200] loss: 0.769

[5, 1230] loss: 0.953

[5, 1260] loss: 0.784

[5, 1290] loss: 0.842

[5, 1320] loss: 0.775

[5, 1350] loss: 0.808

[5, 1380] loss: 0.816

[5, 1410] loss: 0.745

[5, 1440] loss: 0.778

[5, 1470] loss: 0.987

[5, 1500] loss: 0.824

[5, 1530] loss: 0.750

[5, 1560] loss: 0.866

[5, 1590] loss: 0.797

[5, 1620] loss: 0.829

[5, 1650] loss: 0.837

[5, 1680] loss: 0.876

[5, 1710] loss: 0.754

[5, 1740] loss: 0.785

[5, 1770] loss: 0.795

[5, 1800] loss: 0.762

[5, 1830] loss: 0.823

[5, 1860] loss: 0.751

[5, 1890] loss: 0.723

[5, 1920] loss: 0.799

[5, 1950] loss: 0.811

[5, 1980] loss: 0.751

[5, 2010] loss: 0.882

[5, 2040] loss: 0.735

[5, 2070] loss: 0.731

[5, 2100] loss: 0.730

[5, 2130] loss: 0.661

[5, 2160] loss: 0.685

[5, 2190] loss: 0.805

ovft_intermediate_models/epoch4_scratch.pt saved.


evaluating on training set...

Accuracy on test images: 0.776081

epoch 4 accuracy on train set is: 0.7760814249363868

evaluating on training set takes 67 seconds.

shallow_train shallow_test scratch_train scratch_test deep_train deep_test

0 NaN NaN 0.277854 0.251999 NaN NaN

1 NaN NaN 0.473737 0.542803 NaN NaN

2 NaN NaN 0.651877 0.724555 NaN NaN

3 NaN NaN 0.742321 0.83197 NaN NaN

4 NaN NaN 0.776081 NaN NaN NaN

5 NaN NaN NaN NaN NaN NaN

6 NaN NaN NaN NaN NaN NaN

7 NaN NaN NaN NaN NaN NaN

8 NaN NaN NaN NaN NaN NaN

9 NaN NaN NaN NaN NaN NaN

10 NaN NaN NaN NaN NaN NaN

11 NaN NaN NaN NaN NaN NaN

12 NaN NaN NaN NaN NaN NaN

13 NaN NaN NaN NaN NaN NaN

14 NaN NaN NaN NaN NaN NaN

15 NaN NaN NaN NaN NaN NaN

16 NaN NaN NaN NaN NaN NaN

17 NaN NaN NaN NaN NaN NaN

18 NaN NaN NaN NaN NaN NaN

19 NaN NaN NaN NaN NaN NaN

20 NaN NaN NaN NaN NaN NaN

21 NaN NaN NaN NaN NaN NaN

22 NaN NaN NaN NaN NaN NaN

23 NaN NaN NaN NaN NaN NaN

24 NaN NaN NaN NaN NaN NaN

25 NaN NaN NaN NaN NaN NaN

26 NaN NaN NaN NaN NaN NaN

27 NaN NaN NaN NaN NaN NaN

28 NaN NaN NaN NaN NaN NaN

29 NaN NaN NaN NaN NaN NaN

30 NaN NaN NaN NaN NaN NaN

31 NaN NaN NaN NaN NaN NaN

32 NaN NaN NaN NaN NaN NaN

33 NaN NaN NaN NaN NaN NaN

34 NaN NaN NaN NaN NaN NaN

35 NaN NaN NaN NaN NaN NaN

36 NaN NaN NaN NaN NaN NaN

37 NaN NaN NaN NaN NaN NaN

38 NaN NaN NaN NaN NaN NaN

39 NaN NaN NaN NaN NaN NaN

evaluating on test set...

Accuracy on test images: 0.848419

epoch 4 accuracy on test set is: 0.8484187568157033

evaluating on test set takes 17 seconds.

shallow_train shallow_test scratch_train scratch_test deep_train deep_test

0 NaN NaN 0.277854 0.251999 NaN NaN

1 NaN NaN 0.473737 0.542803 NaN NaN

2 NaN NaN 0.651877 0.724555 NaN NaN

3 NaN NaN 0.742321 0.83197 NaN NaN

4 NaN NaN 0.776081 0.848419 NaN NaN

5 NaN NaN NaN NaN NaN NaN

6 NaN NaN NaN NaN NaN NaN

7 NaN NaN NaN NaN NaN NaN

8 NaN NaN NaN NaN NaN NaN

9 NaN NaN NaN NaN NaN NaN

10 NaN NaN NaN NaN NaN NaN

11 NaN NaN NaN NaN NaN NaN

12 NaN NaN NaN NaN NaN NaN

13 NaN NaN NaN NaN NaN NaN

14 NaN NaN NaN NaN NaN NaN

15 NaN NaN NaN NaN NaN NaN

16 NaN NaN NaN NaN NaN NaN

17 NaN NaN NaN NaN NaN NaN

18 NaN NaN NaN NaN NaN NaN

19 NaN NaN NaN NaN NaN NaN

20 NaN NaN NaN NaN NaN NaN

21 NaN NaN NaN NaN NaN NaN

22 NaN NaN NaN NaN NaN NaN

23 NaN NaN NaN NaN NaN NaN

24 NaN NaN NaN NaN NaN NaN

25 NaN NaN NaN NaN NaN NaN

26 NaN NaN NaN NaN NaN NaN

27 NaN NaN NaN NaN NaN NaN

28 NaN NaN NaN NaN NaN NaN

29 NaN NaN NaN NaN NaN NaN

30 NaN NaN NaN NaN NaN NaN

31 NaN NaN NaN NaN NaN NaN

32 NaN NaN NaN NaN NaN NaN

33 NaN NaN NaN NaN NaN NaN

34 NaN NaN NaN NaN NaN NaN

35 NaN NaN NaN NaN NaN NaN

36 NaN NaN NaN NaN NaN NaN

37 NaN NaN NaN NaN NaN NaN

38 NaN NaN NaN NaN NaN NaN

39 NaN NaN NaN NaN NaN NaN

epoch 4 takes 334 seconds.

[6, 30] loss: 0.733

[6, 60] loss: 0.676

[6, 90] loss: 0.727

[6, 120] loss: 0.784

[6, 150] loss: 0.658

[6, 180] loss: 0.759

[6, 210] loss: 0.826

[6, 240] loss: 0.655

[6, 270] loss: 0.771

[6, 300] loss: 0.686

[6, 330] loss: 0.734

[6, 360] loss: 0.738

[6, 390] loss: 0.659

[6, 420] loss: 0.826

[6, 450] loss: 0.811

[6, 480] loss: 0.718

[6, 510] loss: 0.678

[6, 540] loss: 0.687

[6, 570] loss: 0.708

[6, 600] loss: 0.583

[6, 630] loss: 0.690

[6, 660] loss: 0.713

[6, 690] loss: 0.668

[6, 720] loss: 0.856

[6, 750] loss: 0.664

[6, 780] loss: 0.698

[6, 810] loss: 0.594

[6, 840] loss: 0.737

[6, 870] loss: 0.652

[6, 900] loss: 0.697

[6, 930] loss: 0.702

[6, 960] loss: 0.734

[6, 990] loss: 0.612

[6, 1020] loss: 0.666

[6, 1050] loss: 0.693

[6, 1080] loss: 0.754

[6, 1110] loss: 0.756

[6, 1140] loss: 0.611

[6, 1170] loss: 0.771

[6, 1200] loss: 0.664

[6, 1230] loss: 0.733

[6, 1260] loss: 0.636

[6, 1290] loss: 0.669

[6, 1320] loss: 0.619

[6, 1350] loss: 0.597

[6, 1380] loss: 0.818

[6, 1410] loss: 0.704

[6, 1440] loss: 0.658

[6, 1470] loss: 0.576

[6, 1500] loss: 0.696

[6, 1530] loss: 0.654

[6, 1560] loss: 0.647

[6, 1590] loss: 0.748

[6, 1620] loss: 0.732

[6, 1650] loss: 0.704

[6, 1680] loss: 0.606

[6, 1710] loss: 0.654

[6, 1740] loss: 0.615

[6, 1770] loss: 0.624

[6, 1800] loss: 0.757

[6, 1830] loss: 0.603

[6, 1860] loss: 0.613

[6, 1890] loss: 0.621

[6, 1920] loss: 0.631

[6, 1950] loss: 0.734

[6, 1980] loss: 0.690

[6, 2010] loss: 0.646

[6, 2040] loss: 0.668

[6, 2070] loss: 0.752

[6, 2100] loss: 0.593

[6, 2130] loss: 0.645

[6, 2160] loss: 0.586

[6, 2190] loss: 0.652

ovft_intermediate_models/epoch5_scratch.pt saved.


evaluating on training set...

Accuracy on test images: 0.830153

epoch 5 accuracy on train set is: 0.8301526717557252

evaluating on training set takes 67 seconds.

shallow_train shallow_test scratch_train scratch_test deep_train deep_test

0 NaN NaN 0.277854 0.251999 NaN NaN

1 NaN NaN 0.473737 0.542803 NaN NaN

2 NaN NaN 0.651877 0.724555 NaN NaN

3 NaN NaN 0.742321 0.83197 NaN NaN

4 NaN NaN 0.776081 0.848419 NaN NaN

5 NaN NaN 0.830153 NaN NaN NaN

6 NaN NaN NaN NaN NaN NaN

7 NaN NaN NaN NaN NaN NaN

8 NaN NaN NaN NaN NaN NaN

9 NaN NaN NaN NaN NaN NaN

10 NaN NaN NaN NaN NaN NaN

11 NaN NaN NaN NaN NaN NaN

12 NaN NaN NaN NaN NaN NaN

13 NaN NaN NaN NaN NaN NaN

14 NaN NaN NaN NaN NaN NaN

15 NaN NaN NaN NaN NaN NaN

16 NaN NaN NaN NaN NaN NaN

17 NaN NaN NaN NaN NaN NaN

18 NaN NaN NaN NaN NaN NaN

19 NaN NaN NaN NaN NaN NaN

20 NaN NaN NaN NaN NaN NaN

21 NaN NaN NaN NaN NaN NaN

22 NaN NaN NaN NaN NaN NaN

23 NaN NaN NaN NaN NaN NaN

24 NaN NaN NaN NaN NaN NaN

25 NaN NaN NaN NaN NaN NaN

26 NaN NaN NaN NaN NaN NaN

27 NaN NaN NaN NaN NaN NaN

28 NaN NaN NaN NaN NaN NaN

29 NaN NaN NaN NaN NaN NaN

30 NaN NaN NaN NaN NaN NaN

31 NaN NaN NaN NaN NaN NaN

32 NaN NaN NaN NaN NaN NaN

33 NaN NaN NaN NaN NaN NaN

34 NaN NaN NaN NaN NaN NaN

35 NaN NaN NaN NaN NaN NaN

36 NaN NaN NaN NaN NaN NaN

37 NaN NaN NaN NaN NaN NaN

38 NaN NaN NaN NaN NaN NaN

39 NaN NaN NaN NaN NaN NaN

evaluating on test set...

Accuracy on test images: 0.892857

epoch 5 accuracy on test set is: 0.8928571428571429

evaluating on test set takes 17 seconds.

shallow_train shallow_test scratch_train scratch_test deep_train deep_test

0 NaN NaN 0.277854 0.251999 NaN NaN

1 NaN NaN 0.473737 0.542803 NaN NaN

2 NaN NaN 0.651877 0.724555 NaN NaN

3 NaN NaN 0.742321 0.83197 NaN NaN

4 NaN NaN 0.776081 0.848419 NaN NaN

5 NaN NaN 0.830153 0.892857 NaN NaN

6 NaN NaN NaN NaN NaN NaN

7 NaN NaN NaN NaN NaN NaN

8 NaN NaN NaN NaN NaN NaN

9 NaN NaN NaN NaN NaN NaN

10 NaN NaN NaN NaN NaN NaN

11 NaN NaN NaN NaN NaN NaN

12 NaN NaN NaN NaN NaN NaN

13 NaN NaN NaN NaN NaN NaN

14 NaN NaN NaN NaN NaN NaN

15 NaN NaN NaN NaN NaN NaN

16 NaN NaN NaN NaN NaN NaN

17 NaN NaN NaN NaN NaN NaN

18 NaN NaN NaN NaN NaN NaN

19 NaN NaN NaN NaN NaN NaN

20 NaN NaN NaN NaN NaN NaN

21 NaN NaN NaN NaN NaN NaN

22 NaN NaN NaN NaN NaN NaN

23 NaN NaN NaN NaN NaN NaN

24 NaN NaN NaN NaN NaN NaN

25 NaN NaN NaN NaN NaN NaN

26 NaN NaN NaN NaN NaN NaN

27 NaN NaN NaN NaN NaN NaN

28 NaN NaN NaN NaN NaN NaN

29 NaN NaN NaN NaN NaN NaN

30 NaN NaN NaN NaN NaN NaN

31 NaN NaN NaN NaN NaN NaN

32 NaN NaN NaN NaN NaN NaN

33 NaN NaN NaN NaN NaN NaN

34 NaN NaN NaN NaN NaN NaN

35 NaN NaN NaN NaN NaN NaN

36 NaN NaN NaN NaN NaN NaN

37 NaN NaN NaN NaN NaN NaN

38 NaN NaN NaN NaN NaN NaN

39 NaN NaN NaN NaN NaN NaN

epoch 5 takes 332 seconds.

[7, 30] loss: 0.616

[7, 60] loss: 0.570

[7, 90] loss: 0.661

[7, 120] loss: 0.581

[7, 150] loss: 0.599

[7, 180] loss: 0.578

[7, 210] loss: 0.629

[7, 240] loss: 0.601

[7, 270] loss: 0.570

[7, 300] loss: 0.645

[7, 330] loss: 0.562

[7, 360] loss: 0.596

[7, 390] loss: 0.605

[7, 420] loss: 0.669

[7, 450] loss: 0.585

[7, 480] loss: 0.623

[7, 510] loss: 0.628

[7, 540] loss: 0.521

[7, 570] loss: 0.676

[7, 600] loss: 0.615

[7, 630] loss: 0.609

[7, 660] loss: 0.609

[7, 690] loss: 0.616

[7, 720] loss: 0.532

[7, 750] loss: 0.631

[7, 780] loss: 0.611

[7, 810] loss: 0.545

[7, 840] loss: 0.674

[7, 870] loss: 0.618

[7, 900] loss: 0.500

[7, 930] loss: 0.527

[7, 960] loss: 0.669

[7, 990] loss: 0.642

[7, 1020] loss: 0.600

[7, 1050] loss: 0.486

[7, 1080] loss: 0.560

[7, 1110] loss: 0.544

[7, 1140] loss: 0.521

[7, 1170] loss: 0.557

[7, 1200] loss: 0.607

[7, 1230] loss: 0.552

[7, 1260] loss: 0.524

[7, 1290] loss: 0.525

[7, 1320] loss: 0.587

[7, 1350] loss: 0.600

[7, 1380] loss: 0.583

[7, 1410] loss: 0.550

[7, 1440] loss: 0.682

[7, 1470] loss: 0.590

[7, 1500] loss: 0.692

[7, 1530] loss: 0.744

[7, 1560] loss: 0.554

[7, 1590] loss: 0.590

[7, 1620] loss: 0.579

[7, 1650] loss: 0.528

[7, 1680] loss: 0.556

[7, 1710] loss: 0.487

[7, 1740] loss: 0.577

[7, 1770] loss: 0.564

[7, 1800] loss: 0.594

[7, 1830] loss: 0.504

[7, 1860] loss: 0.584

[7, 1890] loss: 0.480

[7, 1920] loss: 0.666

[7, 1950] loss: 0.537

[7, 1980] loss: 0.536

[7, 2010] loss: 0.632

[7, 2040] loss: 0.505

[7, 2070] loss: 0.533

[7, 2100] loss: 0.505

[7, 2130] loss: 0.502

[7, 2160] loss: 0.619

[7, 2190] loss: 0.547

ovft_intermediate_models/epoch6_scratch.pt saved.


evaluating on training set...

Accuracy on test images: 0.839399

epoch 6 accuracy on train set is: 0.8393993093420574

evaluating on training set takes 67 seconds.

shallow_train shallow_test scratch_train scratch_test deep_train deep_test

0 NaN NaN 0.277854 0.251999 NaN NaN

1 NaN NaN 0.473737 0.542803 NaN NaN

2 NaN NaN 0.651877 0.724555 NaN NaN

3 NaN NaN 0.742321 0.83197 NaN NaN

4 NaN NaN 0.776081 0.848419 NaN NaN

5 NaN NaN 0.830153 0.892857 NaN NaN

6 NaN NaN 0.839399 NaN NaN NaN

7 NaN NaN NaN NaN NaN NaN

8 NaN NaN NaN NaN NaN NaN

9 NaN NaN NaN NaN NaN NaN

10 NaN NaN NaN NaN NaN NaN

11 NaN NaN NaN NaN NaN NaN

12 NaN NaN NaN NaN NaN NaN

13 NaN NaN NaN NaN NaN NaN

14 NaN NaN NaN NaN NaN NaN

15 NaN NaN NaN NaN NaN NaN

16 NaN NaN NaN NaN NaN NaN

17 NaN NaN NaN NaN NaN NaN

18 NaN NaN NaN NaN NaN NaN

19 NaN NaN NaN NaN NaN NaN

20 NaN NaN NaN NaN NaN NaN

21 NaN NaN NaN NaN NaN NaN

22 NaN NaN NaN NaN NaN NaN

23 NaN NaN NaN NaN NaN NaN

24 NaN NaN NaN NaN NaN NaN

25 NaN NaN NaN NaN NaN NaN

26 NaN NaN NaN NaN NaN NaN

27 NaN NaN NaN NaN NaN NaN

28 NaN NaN NaN NaN NaN NaN

29 NaN NaN NaN NaN NaN NaN

30 NaN NaN NaN NaN NaN NaN

31 NaN NaN NaN NaN NaN NaN

32 NaN NaN NaN NaN NaN NaN

33 NaN NaN NaN NaN NaN NaN

34 NaN NaN NaN NaN NaN NaN

35 NaN NaN NaN NaN NaN NaN

36 NaN NaN NaN NaN NaN NaN

37 NaN NaN NaN NaN NaN NaN

38 NaN NaN NaN NaN NaN NaN

39 NaN NaN NaN NaN NaN NaN

evaluating on test set...

Accuracy on test images: 0.894039

epoch 6 accuracy on test set is: 0.8940385314431116

evaluating on test set takes 17 seconds.

shallow_train shallow_test scratch_train scratch_test deep_train deep_test

0 NaN NaN 0.277854 0.251999 NaN NaN

1 NaN NaN 0.473737 0.542803 NaN NaN

2 NaN NaN 0.651877 0.724555 NaN NaN

3 NaN NaN 0.742321 0.83197 NaN NaN

4 NaN NaN 0.776081 0.848419 NaN NaN

5 NaN NaN 0.830153 0.892857 NaN NaN

6 NaN NaN 0.839399 0.894039 NaN NaN

7 NaN NaN NaN NaN NaN NaN

8 NaN NaN NaN NaN NaN NaN

9 NaN NaN NaN NaN NaN NaN

10 NaN NaN NaN NaN NaN NaN

11 NaN NaN NaN NaN NaN NaN

12 NaN NaN NaN NaN NaN NaN

13 NaN NaN NaN NaN NaN NaN

14 NaN NaN NaN NaN NaN NaN

15 NaN NaN NaN NaN NaN NaN

16 NaN NaN NaN NaN NaN NaN

17 NaN NaN NaN NaN NaN NaN

18 NaN NaN NaN NaN NaN NaN

19 NaN NaN NaN NaN NaN NaN

20 NaN NaN NaN NaN NaN NaN

21 NaN NaN NaN NaN NaN NaN

22 NaN NaN NaN NaN NaN NaN

23 NaN NaN NaN NaN NaN NaN

24 NaN NaN NaN NaN NaN NaN

25 NaN NaN NaN NaN NaN NaN

26 NaN NaN NaN NaN NaN NaN

27 NaN NaN NaN NaN NaN NaN

28 NaN NaN NaN NaN NaN NaN

29 NaN NaN NaN NaN NaN NaN

30 NaN NaN NaN NaN NaN NaN

31 NaN NaN NaN NaN NaN NaN

32 NaN NaN NaN NaN NaN NaN

33 NaN NaN NaN NaN NaN NaN

34 NaN NaN NaN NaN NaN NaN

35 NaN NaN NaN NaN NaN NaN

36 NaN NaN NaN NaN NaN NaN

37 NaN NaN NaN NaN NaN NaN

38 NaN NaN NaN NaN NaN NaN

39 NaN NaN NaN NaN NaN NaN

epoch 6 takes 335 seconds.

[8, 30] loss: 0.517

[8, 60] loss: 0.595

[8, 90] loss: 0.557

[8, 120] loss: 0.600

[8, 150] loss: 0.547

[8, 180] loss: 0.541

[8, 210] loss: 0.514

[8, 240] loss: 0.501

[8, 270] loss: 0.519

[8, 300] loss: 0.527

[8, 330] loss: 0.613

[8, 360] loss: 0.573

[8, 390] loss: 0.449

[8, 420] loss: 0.549

[8, 450] loss: 0.524

[8, 480] loss: 0.466

[8, 510] loss: 0.477

[8, 540] loss: 0.509

[8, 570] loss: 0.484

[8, 600] loss: 0.517

[8, 630] loss: 0.576

[8, 660] loss: 0.499

[8, 690] loss: 0.583

[8, 720] loss: 0.459

[8, 750] loss: 0.545

[8, 780] loss: 0.483

[8, 810] loss: 0.534

[8, 840] loss: 0.547

[8, 870] loss: 0.428

[8, 900] loss: 0.466

[8, 930] loss: 0.464

[8, 960] loss: 0.557

[8, 990] loss: 0.533

[8, 1020] loss: 0.488

[8, 1050] loss: 0.474

[8, 1080] loss: 0.548

[8, 1110] loss: 0.484

[8, 1140] loss: 0.493

[8, 1170] loss: 0.584

[8, 1200] loss: 0.548

[8, 1230] loss: 0.516

[8, 1260] loss: 0.525

[8, 1290] loss: 0.530

[8, 1320] loss: 0.492

[8, 1350] loss: 0.557

[8, 1380] loss: 0.490

[8, 1410] loss: 0.533

[8, 1440] loss: 0.503

[8, 1470] loss: 0.523

[8, 1500] loss: 0.516

[8, 1530] loss: 0.453

[8, 1560] loss: 0.509

[8, 1590] loss: 0.430

[8, 1620] loss: 0.430

[8, 1650] loss: 0.453

[8, 1680] loss: 0.497

[8, 1710] loss: 0.530

[8, 1740] loss: 0.419

[8, 1770] loss: 0.469

[8, 1800] loss: 0.471

[8, 1830] loss: 0.492

[8, 1860] loss: 0.470

[8, 1890] loss: 0.405

[8, 1920] loss: 0.493

[8, 1950] loss: 0.517

[8, 1980] loss: 0.458

[8, 2010] loss: 0.434

[8, 2040] loss: 0.434

[8, 2070] loss: 0.425

[8, 2100] loss: 0.428

[8, 2130] loss: 0.451

[8, 2160] loss: 0.395

[8, 2190] loss: 0.481

ovft_intermediate_models/epoch7_scratch.pt saved.


evaluating on training set...

Accuracy on test images: 0.869706

epoch 7 accuracy on train set is: 0.8697064703744093

evaluating on training set takes 67 seconds.

shallow_train shallow_test scratch_train scratch_test deep_train deep_test

0 NaN NaN 0.277854 0.251999 NaN NaN

1 NaN NaN 0.473737 0.542803 NaN NaN

2 NaN NaN 0.651877 0.724555 NaN NaN

3 NaN NaN 0.742321 0.83197 NaN NaN

4 NaN NaN 0.776081 0.848419 NaN NaN

5 NaN NaN 0.830153 0.892857 NaN NaN

6 NaN NaN 0.839399 0.894039 NaN NaN

7 NaN NaN 0.869706 NaN NaN NaN

8 NaN NaN NaN NaN NaN NaN

9 NaN NaN NaN NaN NaN NaN

10 NaN NaN NaN NaN NaN NaN

11 NaN NaN NaN NaN NaN NaN

12 NaN NaN NaN NaN NaN NaN

13 NaN NaN NaN NaN NaN NaN

14 NaN NaN NaN NaN NaN NaN

15 NaN NaN NaN NaN NaN NaN

16 NaN NaN NaN NaN NaN NaN

17 NaN NaN NaN NaN NaN NaN

18 NaN NaN NaN NaN NaN NaN

19 NaN NaN NaN NaN NaN NaN

20 NaN NaN NaN NaN NaN NaN

21 NaN NaN NaN NaN NaN NaN

22 NaN NaN NaN NaN NaN NaN

23 NaN NaN NaN NaN NaN NaN

24 NaN NaN NaN NaN NaN NaN

25 NaN NaN NaN NaN NaN NaN

26 NaN NaN NaN NaN NaN NaN

27 NaN NaN NaN NaN NaN NaN

28 NaN NaN NaN NaN NaN NaN

29 NaN NaN NaN NaN NaN NaN

30 NaN NaN NaN NaN NaN NaN

31 NaN NaN NaN NaN NaN NaN

32 NaN NaN NaN NaN NaN NaN

33 NaN NaN NaN NaN NaN NaN

34 NaN NaN NaN NaN NaN NaN

35 NaN NaN NaN NaN NaN NaN

36 NaN NaN NaN NaN NaN NaN

37 NaN NaN NaN NaN NaN NaN

38 NaN NaN NaN NaN NaN NaN

39 NaN NaN NaN NaN NaN NaN

evaluating on test set...

Accuracy on test images: 0.914304

epoch 7 accuracy on test set is: 0.9143038894947292

evaluating on test set takes 17 seconds.

shallow_train shallow_test scratch_train scratch_test deep_train deep_test

0 NaN NaN 0.277854 0.251999 NaN NaN

1 NaN NaN 0.473737 0.542803 NaN NaN

2 NaN NaN 0.651877 0.724555 NaN NaN

3 NaN NaN 0.742321 0.83197 NaN NaN

4 NaN NaN 0.776081 0.848419 NaN NaN

5 NaN NaN 0.830153 0.892857 NaN NaN

6 NaN NaN 0.839399 0.894039 NaN NaN

7 NaN NaN 0.869706 0.914304 NaN NaN

8 NaN NaN NaN NaN NaN NaN

9 NaN NaN NaN NaN NaN NaN

10 NaN NaN NaN NaN NaN NaN

11 NaN NaN NaN NaN NaN NaN

12 NaN NaN NaN NaN NaN NaN

13 NaN NaN NaN NaN NaN NaN

14 NaN NaN NaN NaN NaN NaN

15 NaN NaN NaN NaN NaN NaN

16 NaN NaN NaN NaN NaN NaN

17 NaN NaN NaN NaN NaN NaN

18 NaN NaN NaN NaN NaN NaN

19 NaN NaN NaN NaN NaN NaN

20 NaN NaN NaN NaN NaN NaN

21 NaN NaN NaN NaN NaN NaN

22 NaN NaN NaN NaN NaN NaN

23 NaN NaN NaN NaN NaN NaN

24 NaN NaN NaN NaN NaN NaN

25 NaN NaN NaN NaN NaN NaN

26 NaN NaN NaN NaN NaN NaN

27 NaN NaN NaN NaN NaN NaN

28 NaN NaN NaN NaN NaN NaN

29 NaN NaN NaN NaN NaN NaN

30 NaN NaN NaN NaN NaN NaN

31 NaN NaN NaN NaN NaN NaN

32 NaN NaN NaN NaN NaN NaN

33 NaN NaN NaN NaN NaN NaN

34 NaN NaN NaN NaN NaN NaN

35 NaN NaN NaN NaN NaN NaN

36 NaN NaN NaN NaN NaN NaN

37 NaN NaN NaN NaN NaN NaN

38 NaN NaN NaN NaN NaN NaN

39 NaN NaN NaN NaN NaN NaN

epoch 7 takes 333 seconds.

[9, 30] loss: 0.493

[9, 60] loss: 0.561

[9, 90] loss: 0.560

[9, 120] loss: 0.428

[9, 150] loss: 0.448

[9, 180] loss: 0.487

[9, 210] loss: 0.467

[9, 240] loss: 0.419

[9, 270] loss: 0.431

[9, 300] loss: 0.500

[9, 330] loss: 0.449

[9, 360] loss: 0.442

[9, 390] loss: 0.524

[9, 420] loss: 0.382

[9, 450] loss: 0.436

[9, 480] loss: 0.493

[9, 510] loss: 0.528

[9, 540] loss: 0.413

[9, 570] loss: 0.541

[9, 600] loss: 0.408

[9, 630] loss: 0.443

[9, 660] loss: 0.423

[9, 690] loss: 0.539

[9, 720] loss: 0.510

[9, 750] loss: 0.480

[9, 780] loss: 0.435

[9, 810] loss: 0.397

[9, 840] loss: 0.440

[9, 870] loss: 0.412

[9, 900] loss: 0.395

[9, 930] loss: 0.485

[9, 960] loss: 0.436

[9, 990] loss: 0.411

[9, 1020] loss: 0.504

[9, 1050] loss: 0.470

[9, 1080] loss: 0.487

[9, 1110] loss: 0.518

[9, 1140] loss: 0.434

[9, 1170] loss: 0.447

[9, 1200] loss: 0.447

[9, 1230] loss: 0.375

[9, 1260] loss: 0.464

[9, 1290] loss: 0.434

[9, 1320] loss: 0.430

[9, 1350] loss: 0.416

[9, 1380] loss: 0.447

[9, 1410] loss: 0.448

[9, 1440] loss: 0.379

[9, 1470] loss: 0.470

[9, 1500] loss: 0.510

[9, 1530] loss: 0.380

[9, 1560] loss: 0.491

[9, 1590] loss: 0.458

[9, 1620] loss: 0.443

[9, 1650] loss: 0.414

[9, 1680] loss: 0.349

[9, 1710] loss: 0.436

[9, 1740] loss: 0.546

[9, 1770] loss: 0.455

[9, 1800] loss: 0.326

[9, 1830] loss: 0.404

[9, 1860] loss: 0.478

[9, 1890] loss: 0.484

[9, 1920] loss: 0.422

[9, 1950] loss: 0.399

[9, 1980] loss: 0.467

[9, 2010] loss: 0.410

[9, 2040] loss: 0.455

[9, 2070] loss: 0.392

[9, 2100] loss: 0.432

[9, 2130] loss: 0.471

[9, 2160] loss: 0.439

[9, 2190] loss: 0.451

ovft_intermediate_models/epoch8_scratch.pt saved.


evaluating on training set...

Accuracy on test images: 0.882656

epoch 8 accuracy on train set is: 0.8826563067975282

evaluating on training set takes 65 seconds.

shallow_train shallow_test scratch_train scratch_test deep_train deep_test

0 NaN NaN 0.277854 0.251999 NaN NaN

1 NaN NaN 0.473737 0.542803 NaN NaN

2 NaN NaN 0.651877 0.724555 NaN NaN

3 NaN NaN 0.742321 0.83197 NaN NaN

4 NaN NaN 0.776081 0.848419 NaN NaN

5 NaN NaN 0.830153 0.892857 NaN NaN

6 NaN NaN 0.839399 0.894039 NaN NaN

7 NaN NaN 0.869706 0.914304 NaN NaN

8 NaN NaN 0.882656 NaN NaN NaN

9 NaN NaN NaN NaN NaN NaN

10 NaN NaN NaN NaN NaN NaN

11 NaN NaN NaN NaN NaN NaN

12 NaN NaN NaN NaN NaN NaN

13 NaN NaN NaN NaN NaN NaN

14 NaN NaN NaN NaN NaN NaN

15 NaN NaN NaN NaN NaN NaN

16 NaN NaN NaN NaN NaN NaN

17 NaN NaN NaN NaN NaN NaN

18 NaN NaN NaN NaN NaN NaN

19 NaN NaN NaN NaN NaN NaN

20 NaN NaN NaN NaN NaN NaN

21 NaN NaN NaN NaN NaN NaN

22 NaN NaN NaN NaN NaN NaN

23 NaN NaN NaN NaN NaN NaN

24 NaN NaN NaN NaN NaN NaN

25 NaN NaN NaN NaN NaN NaN

26 NaN NaN NaN NaN NaN NaN

27 NaN NaN NaN NaN NaN NaN

28 NaN NaN NaN NaN NaN NaN

29 NaN NaN NaN NaN NaN NaN

30 NaN NaN NaN NaN NaN NaN

31 NaN NaN NaN NaN NaN NaN

32 NaN NaN NaN NaN NaN NaN

33 NaN NaN NaN NaN NaN NaN

34 NaN NaN NaN NaN NaN NaN

35 NaN NaN NaN NaN NaN NaN

36 NaN NaN NaN NaN NaN NaN

37 NaN NaN NaN NaN NaN NaN

38 NaN NaN NaN NaN NaN NaN

39 NaN NaN NaN NaN NaN NaN

evaluating on test set...

Accuracy on test images: 0.925391

epoch 8 accuracy on test set is: 0.9253907669938204

evaluating on test set takes 16 seconds.

shallow_train shallow_test scratch_train scratch_test deep_train deep_test

0 NaN NaN 0.277854 0.251999 NaN NaN

1 NaN NaN 0.473737 0.542803 NaN NaN

2 NaN NaN 0.651877 0.724555 NaN NaN

3 NaN NaN 0.742321 0.83197 NaN NaN

4 NaN NaN 0.776081 0.848419 NaN NaN

5 NaN NaN 0.830153 0.892857 NaN NaN

6 NaN NaN 0.839399 0.894039 NaN NaN

7 NaN NaN 0.869706 0.914304 NaN NaN

8 NaN NaN 0.882656 0.925391 NaN NaN

9 NaN NaN NaN NaN NaN NaN

10 NaN NaN NaN NaN NaN NaN

11 NaN NaN NaN NaN NaN NaN

12 NaN NaN NaN NaN NaN NaN

13 NaN NaN NaN NaN NaN NaN

14 NaN NaN NaN NaN NaN NaN

15 NaN NaN NaN NaN NaN NaN

16 NaN NaN NaN NaN NaN NaN

17 NaN NaN NaN NaN NaN NaN

18 NaN NaN NaN NaN NaN NaN

19 NaN NaN NaN NaN NaN NaN

20 NaN NaN NaN NaN NaN NaN

21 NaN NaN NaN NaN NaN NaN

22 NaN NaN NaN NaN NaN NaN

23 NaN NaN NaN NaN NaN NaN

24 NaN NaN NaN NaN NaN NaN

25 NaN NaN NaN NaN NaN NaN

26 NaN NaN NaN NaN NaN NaN

27 NaN NaN NaN NaN NaN NaN

28 NaN NaN NaN NaN NaN NaN

29 NaN NaN NaN NaN NaN NaN

30 NaN NaN NaN NaN NaN NaN

31 NaN NaN NaN NaN NaN NaN

32 NaN NaN NaN NaN NaN NaN

33 NaN NaN NaN NaN NaN NaN

34 NaN NaN NaN NaN NaN NaN

35 NaN NaN NaN NaN NaN NaN

36 NaN NaN NaN NaN NaN NaN

37 NaN NaN NaN NaN NaN NaN

38 NaN NaN NaN NaN NaN NaN

39 NaN NaN NaN NaN NaN NaN

epoch 8 takes 329 seconds.

[10, 30] loss: 0.462

[10, 60] loss: 0.336

[10, 90] loss: 0.364

[10, 120] loss: 0.415

[10, 150] loss: 0.400

[10, 180] loss: 0.446

[10, 210] loss: 0.397

[10, 240] loss: 0.388

[10, 270] loss: 0.422

[10, 300] loss: 0.407

[10, 330] loss: 0.443

[10, 360] loss: 0.449

[10, 390] loss: 0.441

[10, 420] loss: 0.338

[10, 450] loss: 0.475

[10, 480] loss: 0.426

[10, 510] loss: 0.442

[10, 540] loss: 0.353

[10, 570] loss: 0.409

[10, 600] loss: 0.427

[10, 630] loss: 0.462

[10, 660] loss: 0.389

[10, 690] loss: 0.397

[10, 720] loss: 0.399

[10, 750] loss: 0.374

[10, 780] loss: 0.511

[10, 810] loss: 0.449

[10, 840] loss: 0.430

[10, 870] loss: 0.361

[10, 900] loss: 0.443

[10, 930] loss: 0.419

[10, 960] loss: 0.397

[10, 990] loss: 0.394

[10, 1020] loss: 0.380

[10, 1050] loss: 0.446

[10, 1080] loss: 0.388

[10, 1110] loss: 0.387

[10, 1140] loss: 0.427

[10, 1170] loss: 0.362

[10, 1200] loss: 0.501

[10, 1230] loss: 0.366

[10, 1260] loss: 0.402

[10, 1290] loss: 0.408

[10, 1320] loss: 0.399

[10, 1350] loss: 0.447

[10, 1380] loss: 0.396

[10, 1410] loss: 0.425

[10, 1440] loss: 0.416

[10, 1470] loss: 0.370

[10, 1500] loss: 0.385

[10, 1530] loss: 0.378

[10, 1560] loss: 0.346

[10, 1590] loss: 0.407

[10, 1620] loss: 0.409

[10, 1650] loss: 0.426

[10, 1680] loss: 0.315

[10, 1710] loss: 0.334

[10, 1740] loss: 0.349

[10, 1770] loss: 0.399

[10, 1800] loss: 0.368

[10, 1830] loss: 0.473

[10, 1860] loss: 0.397

[10, 1890] loss: 0.324

[10, 1920] loss: 0.406

[10, 1950] loss: 0.413

[10, 1980] loss: 0.439

[10, 2010] loss: 0.395

[10, 2040] loss: 0.392

[10, 2070] loss: 0.404

[10, 2100] loss: 0.427

[10, 2130] loss: 0.416

[10, 2160] loss: 0.335

[10, 2190] loss: 0.363

ovft_intermediate_models/epoch9_scratch.pt saved.


evaluating on training set...

Accuracy on test images: 0.903194

epoch 9 accuracy on train set is: 0.9031942929843694

evaluating on training set takes 64 seconds.

shallow_train shallow_test scratch_train scratch_test deep_train deep_test

0 NaN NaN 0.277854 0.251999 NaN NaN

1 NaN NaN 0.473737 0.542803 NaN NaN

2 NaN NaN 0.651877 0.724555 NaN NaN

3 NaN NaN 0.742321 0.83197 NaN NaN

4 NaN NaN 0.776081 0.848419 NaN NaN

5 NaN NaN 0.830153 0.892857 NaN NaN

6 NaN NaN 0.839399 0.894039 NaN NaN

7 NaN NaN 0.869706 0.914304 NaN NaN

8 NaN NaN 0.882656 0.925391 NaN NaN

9 NaN NaN 0.903194 NaN NaN NaN

10 NaN NaN NaN NaN NaN NaN

11 NaN NaN NaN NaN NaN NaN

12 NaN NaN NaN NaN NaN NaN

13 NaN NaN NaN NaN NaN NaN

14 NaN NaN NaN NaN NaN NaN

15 NaN NaN NaN NaN NaN NaN

16 NaN NaN NaN NaN NaN NaN

17 NaN NaN NaN NaN NaN NaN

18 NaN NaN NaN NaN NaN NaN

19 NaN NaN NaN NaN NaN NaN

20 NaN NaN NaN NaN NaN NaN

21 NaN NaN NaN NaN NaN NaN

22 NaN NaN NaN NaN NaN NaN

23 NaN NaN NaN NaN NaN NaN

24 NaN NaN NaN NaN NaN NaN

25 NaN NaN NaN NaN NaN NaN

26 NaN NaN NaN NaN NaN NaN

27 NaN NaN NaN NaN NaN NaN

28 NaN NaN NaN NaN NaN NaN

29 NaN NaN NaN NaN NaN NaN

30 NaN NaN NaN NaN NaN NaN

31 NaN NaN NaN NaN NaN NaN

32 NaN NaN NaN NaN NaN NaN

33 NaN NaN NaN NaN NaN NaN

34 NaN NaN NaN NaN NaN NaN

35 NaN NaN NaN NaN NaN NaN

36 NaN NaN NaN NaN NaN NaN

37 NaN NaN NaN NaN NaN NaN

38 NaN NaN NaN NaN NaN NaN

39 NaN NaN NaN NaN NaN NaN

evaluating on test set...

Accuracy on test images: 0.951018

epoch 9 accuracy on test set is: 0.9510178117048346

evaluating on test set takes 16 seconds.

shallow_train shallow_test scratch_train scratch_test deep_train deep_test

0 NaN NaN 0.277854 0.251999 NaN NaN

1 NaN NaN 0.473737 0.542803 NaN NaN

2 NaN NaN 0.651877 0.724555 NaN NaN

3 NaN NaN 0.742321 0.83197 NaN NaN

4 NaN NaN 0.776081 0.848419 NaN NaN

5 NaN NaN 0.830153 0.892857 NaN NaN

6 NaN NaN 0.839399 0.894039 NaN NaN

7 NaN NaN 0.869706 0.914304 NaN NaN

8 NaN NaN 0.882656 0.925391 NaN NaN

9 NaN NaN 0.903194 0.951018 NaN NaN

10 NaN NaN NaN NaN NaN NaN

11 NaN NaN NaN NaN NaN NaN

12 NaN NaN NaN NaN NaN NaN

13 NaN NaN NaN NaN NaN NaN

14 NaN NaN NaN NaN NaN NaN

15 NaN NaN NaN NaN NaN NaN

16 NaN NaN NaN NaN NaN NaN

17 NaN NaN NaN NaN NaN NaN

18 NaN NaN NaN NaN NaN NaN

19 NaN NaN NaN NaN NaN NaN

20 NaN NaN NaN NaN NaN NaN

21 NaN NaN NaN NaN NaN NaN

22 NaN NaN NaN NaN NaN NaN

23 NaN NaN NaN NaN NaN NaN

24 NaN NaN NaN NaN NaN NaN

25 NaN NaN NaN NaN NaN NaN

26 NaN NaN NaN NaN NaN NaN

27 NaN NaN NaN NaN NaN NaN

28 NaN NaN NaN NaN NaN NaN

29 NaN NaN NaN NaN NaN NaN

30 NaN NaN NaN NaN NaN NaN

31 NaN NaN NaN NaN NaN NaN

32 NaN NaN NaN NaN NaN NaN

33 NaN NaN NaN NaN NaN NaN

34 NaN NaN NaN NaN NaN NaN

35 NaN NaN NaN NaN NaN NaN

36 NaN NaN NaN NaN NaN NaN

37 NaN NaN NaN NaN NaN NaN

38 NaN NaN NaN NaN NaN NaN

39 NaN NaN NaN NaN NaN NaN

epoch 9 takes 319 seconds.

[11, 30] loss: 0.375

[11, 60] loss: 0.347

[11, 90] loss: 0.347

[11, 120] loss: 0.374

[11, 150] loss: 0.358

[11, 180] loss: 0.469

[11, 210] loss: 0.412

[11, 240] loss: 0.435

[11, 270] loss: 0.410

[11, 300] loss: 0.333

[11, 330] loss: 0.424

[11, 360] loss: 0.387

[11, 390] loss: 0.347

[11, 420] loss: 0.324

[11, 450] loss: 0.383

[11, 480] loss: 0.338

[11, 510] loss: 0.391

[11, 540] loss: 0.434

[11, 570] loss: 0.388

[11, 600] loss: 0.392

[11, 630] loss: 0.322

[11, 660] loss: 0.345

[11, 690] loss: 0.394

[11, 720] loss: 0.291

[11, 750] loss: 0.405

[11, 780] loss: 0.405

[11, 810] loss: 0.389

[11, 840] loss: 0.382

[11, 870] loss: 0.312

[11, 900] loss: 0.339

[11, 930] loss: 0.384

[11, 960] loss: 0.371

[11, 990] loss: 0.381

[11, 1020] loss: 0.355

[11, 1050] loss: 0.365

[11, 1080] loss: 0.330

[11, 1110] loss: 0.315

[11, 1140] loss: 0.402

[11, 1170] loss: 0.396

[11, 1200] loss: 0.371

[11, 1230] loss: 0.396

[11, 1260] loss: 0.416

[11, 1290] loss: 0.367

[11, 1320] loss: 0.372

[11, 1350] loss: 0.320

[11, 1380] loss: 0.350

[11, 1410] loss: 0.400

[11, 1440] loss: 0.377

[11, 1470] loss: 0.397

[11, 1500] loss: 0.368

[11, 1530] loss: 0.324

[11, 1560] loss: 0.343

[11, 1590] loss: 0.357

[11, 1620] loss: 0.422

[11, 1650] loss: 0.475

[11, 1680] loss: 0.335

[11, 1710] loss: 0.371

[11, 1740] loss: 0.321

[11, 1770] loss: 0.360

[11, 1800] loss: 0.329

[11, 1830] loss: 0.350

[11, 1860] loss: 0.340

[11, 1890] loss: 0.349

[11, 1920] loss: 0.378

[11, 1950] loss: 0.340

[11, 1980] loss: 0.295

[11, 2010] loss: 0.386

[11, 2040] loss: 0.321

[11, 2070] loss: 0.383

[11, 2100] loss: 0.463

[11, 2130] loss: 0.326

[11, 2160] loss: 0.351

[11, 2190] loss: 0.323

ovft_intermediate_models/epoch10_scratch.pt saved.


evaluating on training set...

Accuracy on test images: 0.910305

epoch 10 accuracy on train set is: 0.9103053435114504

evaluating on training set takes 64 seconds.

shallow_train shallow_test scratch_train scratch_test deep_train deep_test

0 NaN NaN 0.277854 0.251999 NaN NaN

1 NaN NaN 0.473737 0.542803 NaN NaN

2 NaN NaN 0.651877 0.724555 NaN NaN

3 NaN NaN 0.742321 0.83197 NaN NaN

4 NaN NaN 0.776081 0.848419 NaN NaN

5 NaN NaN 0.830153 0.892857 NaN NaN

6 NaN NaN 0.839399 0.894039 NaN NaN

7 NaN NaN 0.869706 0.914304 NaN NaN

8 NaN NaN 0.882656 0.925391 NaN NaN

9 NaN NaN 0.903194 0.951018 NaN NaN

10 NaN NaN 0.910305 NaN NaN NaN

11 NaN NaN NaN NaN NaN NaN

12 NaN NaN NaN NaN NaN NaN

13 NaN NaN NaN NaN NaN NaN

14 NaN NaN NaN NaN NaN NaN

15 NaN NaN NaN NaN NaN NaN

16 NaN NaN NaN NaN NaN NaN

17 NaN NaN NaN NaN NaN NaN

18 NaN NaN NaN NaN NaN NaN

19 NaN NaN NaN NaN NaN NaN

20 NaN NaN NaN NaN NaN NaN

21 NaN NaN NaN NaN NaN NaN

22 NaN NaN NaN NaN NaN NaN

23 NaN NaN NaN NaN NaN NaN

24 NaN NaN NaN NaN NaN NaN

25 NaN NaN NaN NaN NaN NaN

26 NaN NaN NaN NaN NaN NaN

27 NaN NaN NaN NaN NaN NaN

28 NaN NaN NaN NaN NaN NaN

29 NaN NaN NaN NaN NaN NaN

30 NaN NaN NaN NaN NaN NaN

31 NaN NaN NaN NaN NaN NaN

32 NaN NaN NaN NaN NaN NaN

33 NaN NaN NaN NaN NaN NaN

34 NaN NaN NaN NaN NaN NaN

35 NaN NaN NaN NaN NaN NaN

36 NaN NaN NaN NaN NaN NaN

37 NaN NaN NaN NaN NaN NaN

38 NaN NaN NaN NaN NaN NaN

39 NaN NaN NaN NaN NaN NaN

evaluating on test set...

Accuracy on test images: 0.941567

epoch 10 accuracy on test set is: 0.9415667030170847

evaluating on test set takes 16 seconds.

shallow_train shallow_test scratch_train scratch_test deep_train deep_test

0 NaN NaN 0.277854 0.251999 NaN NaN

1 NaN NaN 0.473737 0.542803 NaN NaN

2 NaN NaN 0.651877 0.724555 NaN NaN

3 NaN NaN 0.742321 0.83197 NaN NaN

4 NaN NaN 0.776081 0.848419 NaN NaN

5 NaN NaN 0.830153 0.892857 NaN NaN

6 NaN NaN 0.839399 0.894039 NaN NaN

7 NaN NaN 0.869706 0.914304 NaN NaN

8 NaN NaN 0.882656 0.925391 NaN NaN

9 NaN NaN 0.903194 0.951018 NaN NaN

10 NaN NaN 0.910305 0.941567 NaN NaN

11 NaN NaN NaN NaN NaN NaN

12 NaN NaN NaN NaN NaN NaN

13 NaN NaN NaN NaN NaN NaN

14 NaN NaN NaN NaN NaN NaN

15 NaN NaN NaN NaN NaN NaN

16 NaN NaN NaN NaN NaN NaN

17 NaN NaN NaN NaN NaN NaN

18 NaN NaN NaN NaN NaN NaN

19 NaN NaN NaN NaN NaN NaN

20 NaN NaN NaN NaN NaN NaN

21 NaN NaN NaN NaN NaN NaN

22 NaN NaN NaN NaN NaN NaN

23 NaN NaN NaN NaN NaN NaN

24 NaN NaN NaN NaN NaN NaN

25 NaN NaN NaN NaN NaN NaN

26 NaN NaN NaN NaN NaN NaN

27 NaN NaN NaN NaN NaN NaN

28 NaN NaN NaN NaN NaN NaN

29 NaN NaN NaN NaN NaN NaN

30 NaN NaN NaN NaN NaN NaN

31 NaN NaN NaN NaN NaN NaN

32 NaN NaN NaN NaN NaN NaN

33 NaN NaN NaN NaN NaN NaN

34 NaN NaN NaN NaN NaN NaN

35 NaN NaN NaN NaN NaN NaN

36 NaN NaN NaN NaN NaN NaN

37 NaN NaN NaN NaN NaN NaN

38 NaN NaN NaN NaN NaN NaN

39 NaN NaN NaN NaN NaN NaN

epoch 10 takes 317 seconds.

[12, 30] loss: 0.338

[12, 60] loss: 0.367

[12, 90] loss: 0.315

[12, 120] loss: 0.425

[12, 150] loss: 0.292

[12, 180] loss: 0.338

[12, 210] loss: 0.338

[12, 240] loss: 0.360

[12, 270] loss: 0.413

[12, 300] loss: 0.303

[12, 330] loss: 0.356

[12, 360] loss: 0.280

[12, 390] loss: 0.400

[12, 420] loss: 0.364

[12, 450] loss: 0.405

[12, 480] loss: 0.363

[12, 510] loss: 0.345

[12, 540] loss: 0.392

[12, 570] loss: 0.428

[12, 600] loss: 0.360

[12, 630] loss: 0.364

[12, 660] loss: 0.341

[12, 690] loss: 0.322

[12, 720] loss: 0.338

[12, 750] loss: 0.385

[12, 780] loss: 0.370

[12, 810] loss: 0.305

[12, 840] loss: 0.348

[12, 870] loss: 0.394

[12, 900] loss: 0.303

[12, 930] loss: 0.384

[12, 960] loss: 0.319

[12, 990] loss: 0.280

[12, 1020] loss: 0.344

[12, 1050] loss: 0.338

[12, 1080] loss: 0.319

[12, 1110] loss: 0.296

[12, 1140] loss: 0.333

[12, 1170] loss: 0.344

[12, 1200] loss: 0.320

[12, 1230] loss: 0.379

[12, 1260] loss: 0.358

[12, 1290] loss: 0.295

[12, 1320] loss: 0.286

[12, 1350] loss: 0.287

[12, 1380] loss: 0.399

[12, 1410] loss: 0.343

[12, 1440] loss: 0.386

[12, 1470] loss: 0.359

[12, 1500] loss: 0.287

[12, 1530] loss: 0.328

[12, 1560] loss: 0.262

[12, 1590] loss: 0.358

[12, 1620] loss: 0.324

[12, 1650] loss: 0.369

[12, 1680] loss: 0.326

[12, 1710] loss: 0.339

[12, 1740] loss: 0.322

[12, 1770] loss: 0.276

[12, 1800] loss: 0.470

[12, 1830] loss: 0.319

[12, 1860] loss: 0.275

[12, 1890] loss: 0.306

[12, 1920] loss: 0.267

[12, 1950] loss: 0.346

[12, 1980] loss: 0.258

[12, 2010] loss: 0.321

[12, 2040] loss: 0.347

[12, 2070] loss: 0.291

[12, 2100] loss: 0.306

[12, 2130] loss: 0.289

[12, 2160] loss: 0.317

[12, 2190] loss: 0.298

ovft_intermediate_models/epoch11_scratch.pt saved.


evaluating on training set...

Accuracy on test images: 0.919257

epoch 11 accuracy on train set is: 0.9192566339512904

evaluating on training set takes 64 seconds.

shallow_train shallow_test scratch_train scratch_test deep_train deep_test

0 NaN NaN 0.277854 0.251999 NaN NaN

1 NaN NaN 0.473737 0.542803 NaN NaN

2 NaN NaN 0.651877 0.724555 NaN NaN

3 NaN NaN 0.742321 0.83197 NaN NaN

4 NaN NaN 0.776081 0.848419 NaN NaN

5 NaN NaN 0.830153 0.892857 NaN NaN

6 NaN NaN 0.839399 0.894039 NaN NaN

7 NaN NaN 0.869706 0.914304 NaN NaN

8 NaN NaN 0.882656 0.925391 NaN NaN

9 NaN NaN 0.903194 0.951018 NaN NaN

10 NaN NaN 0.910305 0.941567 NaN NaN

11 NaN NaN 0.919257 NaN NaN NaN

12 NaN NaN NaN NaN NaN NaN

13 NaN NaN NaN NaN NaN NaN

14 NaN NaN NaN NaN NaN NaN

15 NaN NaN NaN NaN NaN NaN

16 NaN NaN NaN NaN NaN NaN

17 NaN NaN NaN NaN NaN NaN

18 NaN NaN NaN NaN NaN NaN

19 NaN NaN NaN NaN NaN NaN

20 NaN NaN NaN NaN NaN NaN

21 NaN NaN NaN NaN NaN NaN

22 NaN NaN NaN NaN NaN NaN

23 NaN NaN NaN NaN NaN NaN

24 NaN NaN NaN NaN NaN NaN

25 NaN NaN NaN NaN NaN NaN

26 NaN NaN NaN NaN NaN NaN

27 NaN NaN NaN NaN NaN NaN

28 NaN NaN NaN NaN NaN NaN

29 NaN NaN NaN NaN NaN NaN

30 NaN NaN NaN NaN NaN NaN

31 NaN NaN NaN NaN NaN NaN

32 NaN NaN NaN NaN NaN NaN

33 NaN NaN NaN NaN NaN NaN

34 NaN NaN NaN NaN NaN NaN

35 NaN NaN NaN NaN NaN NaN

36 NaN NaN NaN NaN NaN NaN

37 NaN NaN NaN NaN NaN NaN

38 NaN NaN NaN NaN NaN NaN

39 NaN NaN NaN NaN NaN NaN

evaluating on test set...

Accuracy on test images: 0.959833

epoch 11 accuracy on test set is: 0.9598327880770628

evaluating on test set takes 16 seconds.

shallow_train shallow_test scratch_train scratch_test deep_train deep_test

0 NaN NaN 0.277854 0.251999 NaN NaN

1 NaN NaN 0.473737 0.542803 NaN NaN

2 NaN NaN 0.651877 0.724555 NaN NaN

3 NaN NaN 0.742321 0.83197 NaN NaN

4 NaN NaN 0.776081 0.848419 NaN NaN

5 NaN NaN 0.830153 0.892857 NaN NaN

6 NaN NaN 0.839399 0.894039 NaN NaN

7 NaN NaN 0.869706 0.914304 NaN NaN

8 NaN NaN 0.882656 0.925391 NaN NaN

9 NaN NaN 0.903194 0.951018 NaN NaN

10 NaN NaN 0.910305 0.941567 NaN NaN

11 NaN NaN 0.919257 0.959833 NaN NaN

12 NaN NaN NaN NaN NaN NaN

13 NaN NaN NaN NaN NaN NaN

14 NaN NaN NaN NaN NaN NaN

15 NaN NaN NaN NaN NaN NaN

16 NaN NaN NaN NaN NaN NaN

17 NaN NaN NaN NaN NaN NaN

18 NaN NaN NaN NaN NaN NaN

19 NaN NaN NaN NaN NaN NaN

20 NaN NaN NaN NaN NaN NaN

21 NaN NaN NaN NaN NaN NaN

22 NaN NaN NaN NaN NaN NaN

23 NaN NaN NaN NaN NaN NaN

24 NaN NaN NaN NaN NaN NaN

25 NaN NaN NaN NaN NaN NaN

26 NaN NaN NaN NaN NaN NaN

27 NaN NaN NaN NaN NaN NaN

28 NaN NaN NaN NaN NaN NaN

29 NaN NaN NaN NaN NaN NaN

30 NaN NaN NaN NaN NaN NaN

31 NaN NaN NaN NaN NaN NaN

32 NaN NaN NaN NaN NaN NaN

33 NaN NaN NaN NaN NaN NaN

34 NaN NaN NaN NaN NaN NaN

35 NaN NaN NaN NaN NaN NaN

36 NaN NaN NaN NaN NaN NaN

37 NaN NaN NaN NaN NaN NaN

38 NaN NaN NaN NaN NaN NaN

39 NaN NaN NaN NaN NaN NaN

epoch 11 takes 316 seconds.

[13, 30] loss: 0.334

[13, 60] loss: 0.392

[13, 90] loss: 0.328

[13, 120] loss: 0.306

[13, 150] loss: 0.344

[13, 180] loss: 0.340

[13, 210] loss: 0.327

[13, 240] loss: 0.306

[13, 270] loss: 0.305

[13, 300] loss: 0.272

[13, 330] loss: 0.304

[13, 360] loss: 0.319

[13, 390] loss: 0.358

[13, 420] loss: 0.343

[13, 450] loss: 0.260

[13, 480] loss: 0.361

[13, 510] loss: 0.318

[13, 540] loss: 0.279

[13, 570] loss: 0.364

[13, 600] loss: 0.300

[13, 630] loss: 0.316

[13, 660] loss: 0.312

[13, 690] loss: 0.338

[13, 720] loss: 0.289

[13, 750] loss: 0.291

[13, 780] loss: 0.271

[13, 810] loss: 0.259

[13, 840] loss: 0.288

[13, 870] loss: 0.305

[13, 900] loss: 0.336

[13, 930] loss: 0.335

[13, 960] loss: 0.287

[13, 990] loss: 0.342

[13, 1020] loss: 0.340

[13, 1050] loss: 0.329

[13, 1080] loss: 0.358

[13, 1110] loss: 0.294

[13, 1140] loss: 0.325

[13, 1170] loss: 0.285

[13, 1200] loss: 0.325

[13, 1230] loss: 0.281

[13, 1260] loss: 0.285

[13, 1290] loss: 0.340

[13, 1320] loss: 0.259

[13, 1350] loss: 0.336

[13, 1380] loss: 0.278

[13, 1410] loss: 0.345

[13, 1440] loss: 0.299

[13, 1470] loss: 0.353

[13, 1500] loss: 0.325

[13, 1530] loss: 0.321

[13, 1560] loss: 0.244

[13, 1590] loss: 0.291

[13, 1620] loss: 0.336

[13, 1650] loss: 0.278

[13, 1680] loss: 0.278

[13, 1710] loss: 0.327

[13, 1740] loss: 0.315

[13, 1770] loss: 0.300

[13, 1800] loss: 0.282

[13, 1830] loss: 0.297

[13, 1860] loss: 0.284

[13, 1890] loss: 0.328

[13, 1920] loss: 0.241

[13, 1950] loss: 0.332

[13, 1980] loss: 0.373

[13, 2010] loss: 0.313

[13, 2040] loss: 0.215

[13, 2070] loss: 0.367

[13, 2100] loss: 0.312

[13, 2130] loss: 0.339

[13, 2160] loss: 0.258

[13, 2190] loss: 0.252

ovft_intermediate_models/epoch12_scratch.pt saved.


evaluating on training set...

Accuracy on test images: 0.923687

epoch 12 accuracy on train set is: 0.9236868411486732

evaluating on training set takes 64 seconds.

shallow_train shallow_test scratch_train scratch_test deep_train deep_test

0 NaN NaN 0.277854 0.251999 NaN NaN

1 NaN NaN 0.473737 0.542803 NaN NaN

2 NaN NaN 0.651877 0.724555 NaN NaN

3 NaN NaN 0.742321 0.83197 NaN NaN

4 NaN NaN 0.776081 0.848419 NaN NaN

5 NaN NaN 0.830153 0.892857 NaN NaN

6 NaN NaN 0.839399 0.894039 NaN NaN

7 NaN NaN 0.869706 0.914304 NaN NaN

8 NaN NaN 0.882656 0.925391 NaN NaN

9 NaN NaN 0.903194 0.951018 NaN NaN

10 NaN NaN 0.910305 0.941567 NaN NaN

11 NaN NaN 0.919257 0.959833 NaN NaN

12 NaN NaN 0.923687 NaN NaN NaN

13 NaN NaN NaN NaN NaN NaN

14 NaN NaN NaN NaN NaN NaN

15 NaN NaN NaN NaN NaN NaN

16 NaN NaN NaN NaN NaN NaN

17 NaN NaN NaN NaN NaN NaN

18 NaN NaN NaN NaN NaN NaN

19 NaN NaN NaN NaN NaN NaN

20 NaN NaN NaN NaN NaN NaN

21 NaN NaN NaN NaN NaN NaN

22 NaN NaN NaN NaN NaN NaN

23 NaN NaN NaN NaN NaN NaN

24 NaN NaN NaN NaN NaN NaN

25 NaN NaN NaN NaN NaN NaN

26 NaN NaN NaN NaN NaN NaN

27 NaN NaN NaN NaN NaN NaN

28 NaN NaN NaN NaN NaN NaN

29 NaN NaN NaN NaN NaN NaN

30 NaN NaN NaN NaN NaN NaN

31 NaN NaN NaN NaN NaN NaN

32 NaN NaN NaN NaN NaN NaN

33 NaN NaN NaN NaN NaN NaN

34 NaN NaN NaN NaN NaN NaN

35 NaN NaN NaN NaN NaN NaN

36 NaN NaN NaN NaN NaN NaN

37 NaN NaN NaN NaN NaN NaN

38 NaN NaN NaN NaN NaN NaN

39 NaN NaN NaN NaN NaN NaN

evaluating on test set...

Accuracy on test images: 0.963650

epoch 12 accuracy on test set is: 0.9636495819701927

evaluating on test set takes 16 seconds.

shallow_train shallow_test scratch_train scratch_test deep_train deep_test

0 NaN NaN 0.277854 0.251999 NaN NaN

1 NaN NaN 0.473737 0.542803 NaN NaN

2 NaN NaN 0.651877 0.724555 NaN NaN

3 NaN NaN 0.742321 0.83197 NaN NaN

4 NaN NaN 0.776081 0.848419 NaN NaN

5 NaN NaN 0.830153 0.892857 NaN NaN

6 NaN NaN 0.839399 0.894039 NaN NaN

7 NaN NaN 0.869706 0.914304 NaN NaN

8 NaN NaN 0.882656 0.925391 NaN NaN

9 NaN NaN 0.903194 0.951018 NaN NaN

10 NaN NaN 0.910305 0.941567 NaN NaN

11 NaN NaN 0.919257 0.959833 NaN NaN

12 NaN NaN 0.923687 0.96365 NaN NaN

13 NaN NaN NaN NaN NaN NaN

14 NaN NaN NaN NaN NaN NaN

15 NaN NaN NaN NaN NaN NaN

16 NaN NaN NaN NaN NaN NaN

17 NaN NaN NaN NaN NaN NaN

18 NaN NaN NaN NaN NaN NaN

19 NaN NaN NaN NaN NaN NaN

20 NaN NaN NaN NaN NaN NaN

21 NaN NaN NaN NaN NaN NaN

22 NaN NaN NaN NaN NaN NaN

23 NaN NaN NaN NaN NaN NaN

24 NaN NaN NaN NaN NaN NaN

25 NaN NaN NaN NaN NaN NaN

26 NaN NaN NaN NaN NaN NaN

27 NaN NaN NaN NaN NaN NaN

28 NaN NaN NaN NaN NaN NaN

29 NaN NaN NaN NaN NaN NaN

30 NaN NaN NaN NaN NaN NaN

31 NaN NaN NaN NaN NaN NaN

32 NaN NaN NaN NaN NaN NaN

33 NaN NaN NaN NaN NaN NaN

34 NaN NaN NaN NaN NaN NaN

35 NaN NaN NaN NaN NaN NaN

36 NaN NaN NaN NaN NaN NaN

37 NaN NaN NaN NaN NaN NaN

38 NaN NaN NaN NaN NaN NaN

39 NaN NaN NaN NaN NaN NaN

epoch 12 takes 316 seconds.

[14, 30] loss: 0.295

[14, 60] loss: 0.264

[14, 90] loss: 0.265

[14, 120] loss: 0.320

[14, 150] loss: 0.299

[14, 180] loss: 0.352

[14, 210] loss: 0.286

[14, 240] loss: 0.276

[14, 270] loss: 0.328

[14, 300] loss: 0.326

[14, 330] loss: 0.354

[14, 360] loss: 0.254

[14, 390] loss: 0.339

[14, 420] loss: 0.270

[14, 450] loss: 0.263

[14, 480] loss: 0.289

[14, 510] loss: 0.285

[14, 540] loss: 0.281

[14, 570] loss: 0.250

[14, 600] loss: 0.380

[14, 630] loss: 0.271

[14, 660] loss: 0.344

[14, 690] loss: 0.242

[14, 720] loss: 0.265

[14, 750] loss: 0.313

[14, 780] loss: 0.287

[14, 810] loss: 0.279

[14, 840] loss: 0.273

[14, 870] loss: 0.337

[14, 900] loss: 0.384

[14, 930] loss: 0.356

[14, 960] loss: 0.317

[14, 990] loss: 0.391

[14, 1020] loss: 0.254

[14, 1050] loss: 0.280

[14, 1080] loss: 0.285

[14, 1110] loss: 0.297

[14, 1140] loss: 0.266

[14, 1170] loss: 0.349

[14, 1200] loss: 0.315

[14, 1230] loss: 0.252

[14, 1260] loss: 0.297

[14, 1290] loss: 0.193

[14, 1320] loss: 0.321

[14, 1350] loss: 0.310

[14, 1380] loss: 0.315

[14, 1410] loss: 0.334

[14, 1440] loss: 0.250

[14, 1470] loss: 0.313

[14, 1500] loss: 0.300

[14, 1530] loss: 0.334

[14, 1560] loss: 0.301

[14, 1590] loss: 0.242

[14, 1620] loss: 0.313

[14, 1650] loss: 0.340

[14, 1680] loss: 0.265

[14, 1710] loss: 0.199

[14, 1740] loss: 0.295

[14, 1770] loss: 0.310

[14, 1800] loss: 0.349

[14, 1830] loss: 0.256

[14, 1860] loss: 0.276

[14, 1890] loss: 0.340

[14, 1920] loss: 0.249

[14, 1950] loss: 0.281

[14, 1980] loss: 0.279

[14, 2010] loss: 0.264

[14, 2040] loss: 0.256

[14, 2070] loss: 0.264

[14, 2100] loss: 0.259

[14, 2130] loss: 0.285

[14, 2160] loss: 0.274

[14, 2190] loss: 0.304

ovft_intermediate_models/epoch13_scratch.pt saved.


evaluating on training set...

Accuracy on test images: 0.934115

epoch 13 accuracy on train set is: 0.9341148673209742

evaluating on training set takes 64 seconds.

shallow_train shallow_test scratch_train scratch_test deep_train deep_test

0 NaN NaN 0.277854 0.251999 NaN NaN

1 NaN NaN 0.473737 0.542803 NaN NaN

2 NaN NaN 0.651877 0.724555 NaN NaN

3 NaN NaN 0.742321 0.83197 NaN NaN

4 NaN NaN 0.776081 0.848419 NaN NaN

5 NaN NaN 0.830153 0.892857 NaN NaN

6 NaN NaN 0.839399 0.894039 NaN NaN

7 NaN NaN 0.869706 0.914304 NaN NaN

8 NaN NaN 0.882656 0.925391 NaN NaN

9 NaN NaN 0.903194 0.951018 NaN NaN

10 NaN NaN 0.910305 0.941567 NaN NaN

11 NaN NaN 0.919257 0.959833 NaN NaN

12 NaN NaN 0.923687 0.96365 NaN NaN

13 NaN NaN 0.934115 NaN NaN NaN

14 NaN NaN NaN NaN NaN NaN

15 NaN NaN NaN NaN NaN NaN

16 NaN NaN NaN NaN NaN NaN

17 NaN NaN NaN NaN NaN NaN

18 NaN NaN NaN NaN NaN NaN

19 NaN NaN NaN NaN NaN NaN

20 NaN NaN NaN NaN NaN NaN

21 NaN NaN NaN NaN NaN NaN

22 NaN NaN NaN NaN NaN NaN

23 NaN NaN NaN NaN NaN NaN

24 NaN NaN NaN NaN NaN NaN

25 NaN NaN NaN NaN NaN NaN

26 NaN NaN NaN NaN NaN NaN

27 NaN NaN NaN NaN NaN NaN

28 NaN NaN NaN NaN NaN NaN

29 NaN NaN NaN NaN NaN NaN

30 NaN NaN NaN NaN NaN NaN

31 NaN NaN NaN NaN NaN NaN

32 NaN NaN NaN NaN NaN NaN

33 NaN NaN NaN NaN NaN NaN

34 NaN NaN NaN NaN NaN NaN

35 NaN NaN NaN NaN NaN NaN

36 NaN NaN NaN NaN NaN NaN

37 NaN NaN NaN NaN NaN NaN

38 NaN NaN NaN NaN NaN NaN

39 NaN NaN NaN NaN NaN NaN

evaluating on test set...

Accuracy on test images: 0.961923

epoch 13 accuracy on test set is: 0.9619229371137769

evaluating on test set takes 16 seconds.

shallow_train shallow_test scratch_train scratch_test deep_train deep_test

0 NaN NaN 0.277854 0.251999 NaN NaN

1 NaN NaN 0.473737 0.542803 NaN NaN

2 NaN NaN 0.651877 0.724555 NaN NaN

3 NaN NaN 0.742321 0.83197 NaN NaN

4 NaN NaN 0.776081 0.848419 NaN NaN

5 NaN NaN 0.830153 0.892857 NaN NaN

6 NaN NaN 0.839399 0.894039 NaN NaN

7 NaN NaN 0.869706 0.914304 NaN NaN

8 NaN NaN 0.882656 0.925391 NaN NaN

9 NaN NaN 0.903194 0.951018 NaN NaN

10 NaN NaN 0.910305 0.941567 NaN NaN

11 NaN NaN 0.919257 0.959833 NaN NaN

12 NaN NaN 0.923687 0.96365 NaN NaN

13 NaN NaN 0.934115 0.961923 NaN NaN

14 NaN NaN NaN NaN NaN NaN

15 NaN NaN NaN NaN NaN NaN

16 NaN NaN NaN NaN NaN NaN

17 NaN NaN NaN NaN NaN NaN

18 NaN NaN NaN NaN NaN NaN

19 NaN NaN NaN NaN NaN NaN

20 NaN NaN NaN NaN NaN NaN

21 NaN NaN NaN NaN NaN NaN

22 NaN NaN NaN NaN NaN NaN

23 NaN NaN NaN NaN NaN NaN

24 NaN NaN NaN NaN NaN NaN

25 NaN NaN NaN NaN NaN NaN

26 NaN NaN NaN NaN NaN NaN

27 NaN NaN NaN NaN NaN NaN

28 NaN NaN NaN NaN NaN NaN

29 NaN NaN NaN NaN NaN NaN

30 NaN NaN NaN NaN NaN NaN

31 NaN NaN NaN NaN NaN NaN

32 NaN NaN NaN NaN NaN NaN

33 NaN NaN NaN NaN NaN NaN

34 NaN NaN NaN NaN NaN NaN

35 NaN NaN NaN NaN NaN NaN

36 NaN NaN NaN NaN NaN NaN

37 NaN NaN NaN NaN NaN NaN

38 NaN NaN NaN NaN NaN NaN

39 NaN NaN NaN NaN NaN NaN

epoch 13 takes 316 seconds.

[15, 30] loss: 0.207

[15, 60] loss: 0.297

[15, 90] loss: 0.293

[15, 120] loss: 0.268

[15, 150] loss: 0.318

[15, 180] loss: 0.272

[15, 210] loss: 0.246

[15, 240] loss: 0.336

[15, 270] loss: 0.331

[15, 300] loss: 0.345

[15, 330] loss: 0.240

[15, 360] loss: 0.324

[15, 390] loss: 0.286

[15, 420] loss: 0.232

[15, 450] loss: 0.280

[15, 480] loss: 0.244

[15, 510] loss: 0.302

[15, 540] loss: 0.275

[15, 570] loss: 0.253

[15, 600] loss: 0.275

[15, 630] loss: 0.298

[15, 660] loss: 0.260

[15, 690] loss: 0.265

[15, 720] loss: 0.303

[15, 750] loss: 0.195

[15, 780] loss: 0.244

[15, 810] loss: 0.303

[15, 840] loss: 0.260

[15, 870] loss: 0.270

[15, 900] loss: 0.267

[15, 930] loss: 0.261

[15, 960] loss: 0.256

[15, 990] loss: 0.213

[15, 1020] loss: 0.234

[15, 1050] loss: 0.313

[15, 1080] loss: 0.264

[15, 1110] loss: 0.320

[15, 1140] loss: 0.254

[15, 1170] loss: 0.246

[15, 1200] loss: 0.306

[15, 1230] loss: 0.271

[15, 1260] loss: 0.240

[15, 1290] loss: 0.278

[15, 1320] loss: 0.273

[15, 1350] loss: 0.291

[15, 1380] loss: 0.306

[15, 1410] loss: 0.236

[15, 1440] loss: 0.254

[15, 1470] loss: 0.304

[15, 1500] loss: 0.272

[15, 1530] loss: 0.296

[15, 1560] loss: 0.249

[15, 1590] loss: 0.234

[15, 1620] loss: 0.241

[15, 1650] loss: 0.284

[15, 1680] loss: 0.284

[15, 1710] loss: 0.278

[15, 1740] loss: 0.285

[15, 1770] loss: 0.236

[15, 1800] loss: 0.235

[15, 1830] loss: 0.338

[15, 1860] loss: 0.300

[15, 1890] loss: 0.277

[15, 1920] loss: 0.275

[15, 1950] loss: 0.272

[15, 1980] loss: 0.276

[15, 2010] loss: 0.247

[15, 2040] loss: 0.327

[15, 2070] loss: 0.334

[15, 2100] loss: 0.299

[15, 2130] loss: 0.227

[15, 2160] loss: 0.279

[15, 2190] loss: 0.261

ovft_intermediate_models/epoch14_scratch.pt saved.


evaluating on training set...

Accuracy on test images: 0.928253

epoch 14 accuracy on train set is: 0.9282533624136677

evaluating on training set takes 64 seconds.

shallow_train shallow_test scratch_train scratch_test deep_train deep_test

0 NaN NaN 0.277854 0.251999 NaN NaN

1 NaN NaN 0.473737 0.542803 NaN NaN

2 NaN NaN 0.651877 0.724555 NaN NaN

3 NaN NaN 0.742321 0.83197 NaN NaN

4 NaN NaN 0.776081 0.848419 NaN NaN

5 NaN NaN 0.830153 0.892857 NaN NaN

6 NaN NaN 0.839399 0.894039 NaN NaN

7 NaN NaN 0.869706 0.914304 NaN NaN

8 NaN NaN 0.882656 0.925391 NaN NaN

9 NaN NaN 0.903194 0.951018 NaN NaN

10 NaN NaN 0.910305 0.941567 NaN NaN

11 NaN NaN 0.919257 0.959833 NaN NaN

12 NaN NaN 0.923687 0.96365 NaN NaN

13 NaN NaN 0.934115 0.961923 NaN NaN

14 NaN NaN 0.928253 NaN NaN NaN

15 NaN NaN NaN NaN NaN NaN

16 NaN NaN NaN NaN NaN NaN

17 NaN NaN NaN NaN NaN NaN

18 NaN NaN NaN NaN NaN NaN

19 NaN NaN NaN NaN NaN NaN

20 NaN NaN NaN NaN NaN NaN

21 NaN NaN NaN NaN NaN NaN

22 NaN NaN NaN NaN NaN NaN

23 NaN NaN NaN NaN NaN NaN

24 NaN NaN NaN NaN NaN NaN

25 NaN NaN NaN NaN NaN NaN

26 NaN NaN NaN NaN NaN NaN

27 NaN NaN NaN NaN NaN NaN

28 NaN NaN NaN NaN NaN NaN

29 NaN NaN NaN NaN NaN NaN

30 NaN NaN NaN NaN NaN NaN

31 NaN NaN NaN NaN NaN NaN

32 NaN NaN NaN NaN NaN NaN

33 NaN NaN NaN NaN NaN NaN

34 NaN NaN NaN NaN NaN NaN

35 NaN NaN NaN NaN NaN NaN

36 NaN NaN NaN NaN NaN NaN

37 NaN NaN NaN NaN NaN NaN

38 NaN NaN NaN NaN NaN NaN

39 NaN NaN NaN NaN NaN NaN

evaluating on test set...

Accuracy on test images: 0.963650

epoch 14 accuracy on test set is: 0.9636495819701927

evaluating on test set takes 16 seconds.

shallow_train shallow_test scratch_train scratch_test deep_train deep_test

0 NaN NaN 0.277854 0.251999 NaN NaN

1 NaN NaN 0.473737 0.542803 NaN NaN

2 NaN NaN 0.651877 0.724555 NaN NaN

3 NaN NaN 0.742321 0.83197 NaN NaN

4 NaN NaN 0.776081 0.848419 NaN NaN

5 NaN NaN 0.830153 0.892857 NaN NaN

6 NaN NaN 0.839399 0.894039 NaN NaN

7 NaN NaN 0.869706 0.914304 NaN NaN

8 NaN NaN 0.882656 0.925391 NaN NaN

9 NaN NaN 0.903194 0.951018 NaN NaN

10 NaN NaN 0.910305 0.941567 NaN NaN

11 NaN NaN 0.919257 0.959833 NaN NaN

12 NaN NaN 0.923687 0.96365 NaN NaN

13 NaN NaN 0.934115 0.961923 NaN NaN

14 NaN NaN 0.928253 0.96365 NaN NaN

15 NaN NaN NaN NaN NaN NaN

16 NaN NaN NaN NaN NaN NaN

17 NaN NaN NaN NaN NaN NaN

18 NaN NaN NaN NaN NaN NaN

19 NaN NaN NaN NaN NaN NaN

20 NaN NaN NaN NaN NaN NaN

21 NaN NaN NaN NaN NaN NaN

22 NaN NaN NaN NaN NaN NaN

23 NaN NaN NaN NaN NaN NaN

24 NaN NaN NaN NaN NaN NaN

25 NaN NaN NaN NaN NaN NaN

26 NaN NaN NaN NaN NaN NaN

27 NaN NaN NaN NaN NaN NaN

28 NaN NaN NaN NaN NaN NaN

29 NaN NaN NaN NaN NaN NaN

30 NaN NaN NaN NaN NaN NaN

31 NaN NaN NaN NaN NaN NaN

32 NaN NaN NaN NaN NaN NaN

33 NaN NaN NaN NaN NaN NaN

34 NaN NaN NaN NaN NaN NaN

35 NaN NaN NaN NaN NaN NaN

36 NaN NaN NaN NaN NaN NaN

37 NaN NaN NaN NaN NaN NaN

38 NaN NaN NaN NaN NaN NaN

39 NaN NaN NaN NaN NaN NaN

epoch 14 takes 316 seconds.

[16, 30] loss: 0.242

[16, 60] loss: 0.268

[16, 90] loss: 0.263

[16, 120] loss: 0.272

[16, 150] loss: 0.276

[16, 180] loss: 0.249

[16, 210] loss: 0.260

[16, 240] loss: 0.239

[16, 270] loss: 0.251

[16, 300] loss: 0.225

[16, 330] loss: 0.246

[16, 360] loss: 0.243

[16, 390] loss: 0.227

[16, 420] loss: 0.304

[16, 450] loss: 0.290

[16, 480] loss: 0.255

[16, 510] loss: 0.209

[16, 540] loss: 0.246

[16, 570] loss: 0.255

[16, 600] loss: 0.314

[16, 630] loss: 0.238

[16, 660] loss: 0.244

[16, 690] loss: 0.212

[16, 720] loss: 0.262

[16, 750] loss: 0.271

[16, 780] loss: 0.259

[16, 810] loss: 0.274

[16, 840] loss: 0.280

[16, 870] loss: 0.334

[16, 900] loss: 0.256

[16, 930] loss: 0.305

[16, 960] loss: 0.310

[16, 990] loss: 0.249

[16, 1020] loss: 0.270

[16, 1050] loss: 0.184

[16, 1080] loss: 0.280

[16, 1110] loss: 0.253

[16, 1140] loss: 0.177

[16, 1170] loss: 0.209

[16, 1200] loss: 0.325

[16, 1230] loss: 0.270

[16, 1260] loss: 0.247

[16, 1290] loss: 0.236

[16, 1320] loss: 0.250

[16, 1350] loss: 0.242

[16, 1380] loss: 0.207

[16, 1410] loss: 0.270

[16, 1440] loss: 0.231

[16, 1470] loss: 0.189

[16, 1500] loss: 0.228

[16, 1530] loss: 0.242

[16, 1560] loss: 0.288

[16, 1590] loss: 0.273

[16, 1620] loss: 0.220

[16, 1650] loss: 0.269

[16, 1680] loss: 0.298

[16, 1710] loss: 0.210

[16, 1740] loss: 0.212

[16, 1770] loss: 0.276

[16, 1800] loss: 0.281

[16, 1830] loss: 0.219

[16, 1860] loss: 0.213

[16, 1890] loss: 0.242

[16, 1920] loss: 0.239

[16, 1950] loss: 0.274

[16, 1980] loss: 0.226

[16, 2010] loss: 0.273

[16, 2040] loss: 0.207

[16, 2070] loss: 0.245

[16, 2100] loss: 0.304

[16, 2130] loss: 0.212

[16, 2160] loss: 0.290

[16, 2190] loss: 0.237

ovft_intermediate_models/epoch15_scratch.pt saved.


evaluating on training set...

Accuracy on test images: 0.936796

epoch 15 accuracy on train set is: 0.9367957106506725

evaluating on training set takes 64 seconds.

shallow_train shallow_test scratch_train scratch_test deep_train deep_test

0 NaN NaN 0.277854 0.251999 NaN NaN

1 NaN NaN 0.473737 0.542803 NaN NaN

2 NaN NaN 0.651877 0.724555 NaN NaN

3 NaN NaN 0.742321 0.83197 NaN NaN

4 NaN NaN 0.776081 0.848419 NaN NaN

5 NaN NaN 0.830153 0.892857 NaN NaN

6 NaN NaN 0.839399 0.894039 NaN NaN

7 NaN NaN 0.869706 0.914304 NaN NaN

8 NaN NaN 0.882656 0.925391 NaN NaN

9 NaN NaN 0.903194 0.951018 NaN NaN

10 NaN NaN 0.910305 0.941567 NaN NaN

11 NaN NaN 0.919257 0.959833 NaN NaN

12 NaN NaN 0.923687 0.96365 NaN NaN

13 NaN NaN 0.934115 0.961923 NaN NaN

14 NaN NaN 0.928253 0.96365 NaN NaN

15 NaN NaN 0.936796 NaN NaN NaN

16 NaN NaN NaN NaN NaN NaN

17 NaN NaN NaN NaN NaN NaN

18 NaN NaN NaN NaN NaN NaN

19 NaN NaN NaN NaN NaN NaN

20 NaN NaN NaN NaN NaN NaN

21 NaN NaN NaN NaN NaN NaN

22 NaN NaN NaN NaN NaN NaN

23 NaN NaN NaN NaN NaN NaN

24 NaN NaN NaN NaN NaN NaN

25 NaN NaN NaN NaN NaN NaN

26 NaN NaN NaN NaN NaN NaN

27 NaN NaN NaN NaN NaN NaN

28 NaN NaN NaN NaN NaN NaN

29 NaN NaN NaN NaN NaN NaN

30 NaN NaN NaN NaN NaN NaN

31 NaN NaN NaN NaN NaN NaN

32 NaN NaN NaN NaN NaN NaN

33 NaN NaN NaN NaN NaN NaN

34 NaN NaN NaN NaN NaN NaN

35 NaN NaN NaN NaN NaN NaN

36 NaN NaN NaN NaN NaN NaN

37 NaN NaN NaN NaN NaN NaN

38 NaN NaN NaN NaN NaN NaN

39 NaN NaN NaN NaN NaN NaN

evaluating on test set...

Accuracy on test images: 0.965740

epoch 15 accuracy on test set is: 0.9657397310069066

evaluating on test set takes 16 seconds.

shallow_train shallow_test scratch_train scratch_test deep_train deep_test

0 NaN NaN 0.277854 0.251999 NaN NaN

1 NaN NaN 0.473737 0.542803 NaN NaN

2 NaN NaN 0.651877 0.724555 NaN NaN

3 NaN NaN 0.742321 0.83197 NaN NaN

4 NaN NaN 0.776081 0.848419 NaN NaN

5 NaN NaN 0.830153 0.892857 NaN NaN

6 NaN NaN 0.839399 0.894039 NaN NaN

7 NaN NaN 0.869706 0.914304 NaN NaN

8 NaN NaN 0.882656 0.925391 NaN NaN

9 NaN NaN 0.903194 0.951018 NaN NaN

10 NaN NaN 0.910305 0.941567 NaN NaN

11 NaN NaN 0.919257 0.959833 NaN NaN

12 NaN NaN 0.923687 0.96365 NaN NaN

13 NaN NaN 0.934115 0.961923 NaN NaN

14 NaN NaN 0.928253 0.96365 NaN NaN

15 NaN NaN 0.936796 0.96574 NaN NaN

16 NaN NaN NaN NaN NaN NaN

17 NaN NaN NaN NaN NaN NaN

18 NaN NaN NaN NaN NaN NaN

19 NaN NaN NaN NaN NaN NaN

20 NaN NaN NaN NaN NaN NaN

21 NaN NaN NaN NaN NaN NaN

22 NaN NaN NaN NaN NaN NaN

23 NaN NaN NaN NaN NaN NaN

24 NaN NaN NaN NaN NaN NaN

25 NaN NaN NaN NaN NaN NaN

26 NaN NaN NaN NaN NaN NaN

27 NaN NaN NaN NaN NaN NaN

28 NaN NaN NaN NaN NaN NaN

29 NaN NaN NaN NaN NaN NaN

30 NaN NaN NaN NaN NaN NaN

31 NaN NaN NaN NaN NaN NaN

32 NaN NaN NaN NaN NaN NaN

33 NaN NaN NaN NaN NaN NaN

34 NaN NaN NaN NaN NaN NaN

35 NaN NaN NaN NaN NaN NaN

36 NaN NaN NaN NaN NaN NaN

37 NaN NaN NaN NaN NaN NaN

38 NaN NaN NaN NaN NaN NaN

39 NaN NaN NaN NaN NaN NaN

epoch 15 takes 316 seconds.

[17, 30] loss: 0.251

[17, 60] loss: 0.253

[17, 90] loss: 0.212

[17, 120] loss: 0.241

[17, 150] loss: 0.280

[17, 180] loss: 0.208

[17, 210] loss: 0.177

[17, 240] loss: 0.182

[17, 270] loss: 0.281

[17, 300] loss: 0.222

[17, 330] loss: 0.264

[17, 360] loss: 0.281

[17, 390] loss: 0.251

[17, 420] loss: 0.205

[17, 450] loss: 0.226

[17, 480] loss: 0.244

[17, 510] loss: 0.232

[17, 540] loss: 0.261

[17, 570] loss: 0.222

[17, 600] loss: 0.200

[17, 630] loss: 0.272

[17, 660] loss: 0.232

[17, 690] loss: 0.234

[17, 720] loss: 0.245

[17, 750] loss: 0.258

[17, 780] loss: 0.241

[17, 810] loss: 0.270

[17, 840] loss: 0.272

[17, 870] loss: 0.180

[17, 900] loss: 0.270

[17, 930] loss: 0.212

[17, 960] loss: 0.265

[17, 990] loss: 0.213

[17, 1020] loss: 0.216

[17, 1050] loss: 0.271

[17, 1080] loss: 0.207

[17, 1110] loss: 0.313

[17, 1140] loss: 0.237

[17, 1170] loss: 0.246

[17, 1200] loss: 0.316

[17, 1230] loss: 0.243

[17, 1260] loss: 0.214

[17, 1290] loss: 0.270

[17, 1320] loss: 0.176

[17, 1350] loss: 0.322

[17, 1380] loss: 0.226

[17, 1410] loss: 0.194

[17, 1440] loss: 0.237

[17, 1470] loss: 0.286

[17, 1500] loss: 0.303

[17, 1530] loss: 0.209

[17, 1560] loss: 0.287

[17, 1590] loss: 0.239

[17, 1620] loss: 0.240

[17, 1650] loss: 0.207

[17, 1680] loss: 0.279

[17, 1710] loss: 0.247

[17, 1740] loss: 0.240

[17, 1770] loss: 0.281

[17, 1800] loss: 0.271

[17, 1830] loss: 0.290

[17, 1860] loss: 0.205

[17, 1890] loss: 0.236

[17, 1920] loss: 0.263

[17, 1950] loss: 0.254

[17, 1980] loss: 0.267

[17, 2010] loss: 0.274

[17, 2040] loss: 0.274

[17, 2070] loss: 0.278

[17, 2100] loss: 0.276

[17, 2130] loss: 0.260

[17, 2160] loss: 0.248

[17, 2190] loss: 0.246

ovft_intermediate_models/epoch16_scratch.pt saved.


evaluating on training set...

Accuracy on test images: 0.942794

epoch 16 accuracy on train set is: 0.9427935296255907

evaluating on training set takes 64 seconds.

shallow_train shallow_test scratch_train scratch_test deep_train deep_test

0 NaN NaN 0.277854 0.251999 NaN NaN

1 NaN NaN 0.473737 0.542803 NaN NaN

2 NaN NaN 0.651877 0.724555 NaN NaN

3 NaN NaN 0.742321 0.83197 NaN NaN

4 NaN NaN 0.776081 0.848419 NaN NaN

5 NaN NaN 0.830153 0.892857 NaN NaN

6 NaN NaN 0.839399 0.894039 NaN NaN

7 NaN NaN 0.869706 0.914304 NaN NaN

8 NaN NaN 0.882656 0.925391 NaN NaN

9 NaN NaN 0.903194 0.951018 NaN NaN

10 NaN NaN 0.910305 0.941567 NaN NaN

11 NaN NaN 0.919257 0.959833 NaN NaN

12 NaN NaN 0.923687 0.96365 NaN NaN

13 NaN NaN 0.934115 0.961923 NaN NaN

14 NaN NaN 0.928253 0.96365 NaN NaN

15 NaN NaN 0.936796 0.96574 NaN NaN

16 NaN NaN 0.942794 NaN NaN NaN

17 NaN NaN NaN NaN NaN NaN

18 NaN NaN NaN NaN NaN NaN

19 NaN NaN NaN NaN NaN NaN

20 NaN NaN NaN NaN NaN NaN

21 NaN NaN NaN NaN NaN NaN

22 NaN NaN NaN NaN NaN NaN

23 NaN NaN NaN NaN NaN NaN

24 NaN NaN NaN NaN NaN NaN

25 NaN NaN NaN NaN NaN NaN

26 NaN NaN NaN NaN NaN NaN

27 NaN NaN NaN NaN NaN NaN

28 NaN NaN NaN NaN NaN NaN

29 NaN NaN NaN NaN NaN NaN

30 NaN NaN NaN NaN NaN NaN

31 NaN NaN NaN NaN NaN NaN

32 NaN NaN NaN NaN NaN NaN

33 NaN NaN NaN NaN NaN NaN

34 NaN NaN NaN NaN NaN NaN

35 NaN NaN NaN NaN NaN NaN

36 NaN NaN NaN NaN NaN NaN

37 NaN NaN NaN NaN NaN NaN

38 NaN NaN NaN NaN NaN NaN

39 NaN NaN NaN NaN NaN NaN

evaluating on test set...

Accuracy on test images: 0.970102

epoch 16 accuracy on test set is: 0.9701017811704835

evaluating on test set takes 16 seconds.

shallow_train shallow_test scratch_train scratch_test deep_train deep_test

0 NaN NaN 0.277854 0.251999 NaN NaN

1 NaN NaN 0.473737 0.542803 NaN NaN

2 NaN NaN 0.651877 0.724555 NaN NaN

3 NaN NaN 0.742321 0.83197 NaN NaN

4 NaN NaN 0.776081 0.848419 NaN NaN

5 NaN NaN 0.830153 0.892857 NaN NaN

6 NaN NaN 0.839399 0.894039 NaN NaN

7 NaN NaN 0.869706 0.914304 NaN NaN

8 NaN NaN 0.882656 0.925391 NaN NaN

9 NaN NaN 0.903194 0.951018 NaN NaN

10 NaN NaN 0.910305 0.941567 NaN NaN

11 NaN NaN 0.919257 0.959833 NaN NaN

12 NaN NaN 0.923687 0.96365 NaN NaN

13 NaN NaN 0.934115 0.961923 NaN NaN

14 NaN NaN 0.928253 0.96365 NaN NaN

15 NaN NaN 0.936796 0.96574 NaN NaN

16 NaN NaN 0.942794 0.970102 NaN NaN

17 NaN NaN NaN NaN NaN NaN

18 NaN NaN NaN NaN NaN NaN

19 NaN NaN NaN NaN NaN NaN

20 NaN NaN NaN NaN NaN NaN

21 NaN NaN NaN NaN NaN NaN

22 NaN NaN NaN NaN NaN NaN

23 NaN NaN NaN NaN NaN NaN

24 NaN NaN NaN NaN NaN NaN

25 NaN NaN NaN NaN NaN NaN

26 NaN NaN NaN NaN NaN NaN

27 NaN NaN NaN NaN NaN NaN

28 NaN NaN NaN NaN NaN NaN

29 NaN NaN NaN NaN NaN NaN

30 NaN NaN NaN NaN NaN NaN

31 NaN NaN NaN NaN NaN NaN

32 NaN NaN NaN NaN NaN NaN

33 NaN NaN NaN NaN NaN NaN

34 NaN NaN NaN NaN NaN NaN

35 NaN NaN NaN NaN NaN NaN

36 NaN NaN NaN NaN NaN NaN

37 NaN NaN NaN NaN NaN NaN

38 NaN NaN NaN NaN NaN NaN

39 NaN NaN NaN NaN NaN NaN

epoch 16 takes 316 seconds.

[18, 30] loss: 0.245

[18, 60] loss: 0.207

[18, 90] loss: 0.235

[18, 120] loss: 0.202

[18, 150] loss: 0.287

[18, 180] loss: 0.207

[18, 210] loss: 0.190

[18, 240] loss: 0.268

[18, 270] loss: 0.255

[18, 300] loss: 0.192

[18, 330] loss: 0.239

[18, 360] loss: 0.227

[18, 390] loss: 0.248

[18, 420] loss: 0.225

[18, 450] loss: 0.286

[18, 480] loss: 0.182

[18, 510] loss: 0.218

[18, 540] loss: 0.221

[18, 570] loss: 0.241

[18, 600] loss: 0.236

[18, 630] loss: 0.161

[18, 660] loss: 0.198

[18, 690] loss: 0.209

[18, 720] loss: 0.262

[18, 750] loss: 0.192

[18, 780] loss: 0.216

[18, 810] loss: 0.245

[18, 840] loss: 0.308

[18, 870] loss: 0.223

[18, 900] loss: 0.228

[18, 930] loss: 0.226

[18, 960] loss: 0.211

[18, 990] loss: 0.236

[18, 1020] loss: 0.240

[18, 1050] loss: 0.199

[18, 1080] loss: 0.299

[18, 1110] loss: 0.240

[18, 1140] loss: 0.261

[18, 1170] loss: 0.196

[18, 1200] loss: 0.253

[18, 1230] loss: 0.174

[18, 1260] loss: 0.223

[18, 1290] loss: 0.203

[18, 1320] loss: 0.252

[18, 1350] loss: 0.268

[18, 1380] loss: 0.211

[18, 1410] loss: 0.183

[18, 1440] loss: 0.287

[18, 1470] loss: 0.249

[18, 1500] loss: 0.192

[18, 1530] loss: 0.205

[18, 1560] loss: 0.247

[18, 1590] loss: 0.164

[18, 1620] loss: 0.220

[18, 1650] loss: 0.283

[18, 1680] loss: 0.243

[18, 1710] loss: 0.208

[18, 1740] loss: 0.267

[18, 1770] loss: 0.226

[18, 1800] loss: 0.275

[18, 1830] loss: 0.227

[18, 1860] loss: 0.289

[18, 1890] loss: 0.186

[18, 1920] loss: 0.250

[18, 1950] loss: 0.189

[18, 1980] loss: 0.261

[18, 2010] loss: 0.255

[18, 2040] loss: 0.211

[18, 2070] loss: 0.217

[18, 2100] loss: 0.281

[18, 2130] loss: 0.208

[18, 2160] loss: 0.197

[18, 2190] loss: 0.240

ovft_intermediate_models/epoch17_scratch.pt saved.


evaluating on training set...

Accuracy on test images: 0.944089

epoch 17 accuracy on train set is: 0.9440885132679026

evaluating on training set takes 69 seconds.

shallow_train shallow_test scratch_train scratch_test deep_train deep_test

0 NaN NaN 0.277854 0.251999 NaN NaN

1 NaN NaN 0.473737 0.542803 NaN NaN

2 NaN NaN 0.651877 0.724555 NaN NaN

3 NaN NaN 0.742321 0.83197 NaN NaN

4 NaN NaN 0.776081 0.848419 NaN NaN

5 NaN NaN 0.830153 0.892857 NaN NaN

6 NaN NaN 0.839399 0.894039 NaN NaN

7 NaN NaN 0.869706 0.914304 NaN NaN

8 NaN NaN 0.882656 0.925391 NaN NaN

9 NaN NaN 0.903194 0.951018 NaN NaN

10 NaN NaN 0.910305 0.941567 NaN NaN

11 NaN NaN 0.919257 0.959833 NaN NaN

12 NaN NaN 0.923687 0.96365 NaN NaN

13 NaN NaN 0.934115 0.961923 NaN NaN

14 NaN NaN 0.928253 0.96365 NaN NaN

15 NaN NaN 0.936796 0.96574 NaN NaN

16 NaN NaN 0.942794 0.970102 NaN NaN

17 NaN NaN 0.944089 NaN NaN NaN

18 NaN NaN NaN NaN NaN NaN

19 NaN NaN NaN NaN NaN NaN

20 NaN NaN NaN NaN NaN NaN

21 NaN NaN NaN NaN NaN NaN

22 NaN NaN NaN NaN NaN NaN

23 NaN NaN NaN NaN NaN NaN

24 NaN NaN NaN NaN NaN NaN

25 NaN NaN NaN NaN NaN NaN

26 NaN NaN NaN NaN NaN NaN

27 NaN NaN NaN NaN NaN NaN

28 NaN NaN NaN NaN NaN NaN

29 NaN NaN NaN NaN NaN NaN

30 NaN NaN NaN NaN NaN NaN

31 NaN NaN NaN NaN NaN NaN

32 NaN NaN NaN NaN NaN NaN

33 NaN NaN NaN NaN NaN NaN

34 NaN NaN NaN NaN NaN NaN

35 NaN NaN NaN NaN NaN NaN

36 NaN NaN NaN NaN NaN NaN

37 NaN NaN NaN NaN NaN NaN

38 NaN NaN NaN NaN NaN NaN

39 NaN NaN NaN NaN NaN NaN

evaluating on test set...

Accuracy on test images: 0.969829

epoch 17 accuracy on test set is: 0.96982915303526

evaluating on test set takes 17 seconds.

shallow_train shallow_test scratch_train scratch_test deep_train deep_test

0 NaN NaN 0.277854 0.251999 NaN NaN

1 NaN NaN 0.473737 0.542803 NaN NaN

2 NaN NaN 0.651877 0.724555 NaN NaN

3 NaN NaN 0.742321 0.83197 NaN NaN

4 NaN NaN 0.776081 0.848419 NaN NaN

5 NaN NaN 0.830153 0.892857 NaN NaN

6 NaN NaN 0.839399 0.894039 NaN NaN

7 NaN NaN 0.869706 0.914304 NaN NaN

8 NaN NaN 0.882656 0.925391 NaN NaN

9 NaN NaN 0.903194 0.951018 NaN NaN

10 NaN NaN 0.910305 0.941567 NaN NaN

11 NaN NaN 0.919257 0.959833 NaN NaN

12 NaN NaN 0.923687 0.96365 NaN NaN

13 NaN NaN 0.934115 0.961923 NaN NaN

14 NaN NaN 0.928253 0.96365 NaN NaN

15 NaN NaN 0.936796 0.96574 NaN NaN

16 NaN NaN 0.942794 0.970102 NaN NaN

17 NaN NaN 0.944089 0.969829 NaN NaN

18 NaN NaN NaN NaN NaN NaN

19 NaN NaN NaN NaN NaN NaN

20 NaN NaN NaN NaN NaN NaN

21 NaN NaN NaN NaN NaN NaN

22 NaN NaN NaN NaN NaN NaN

23 NaN NaN NaN NaN NaN NaN

24 NaN NaN NaN NaN NaN NaN

25 NaN NaN NaN NaN NaN NaN

26 NaN NaN NaN NaN NaN NaN

27 NaN NaN NaN NaN NaN NaN

28 NaN NaN NaN NaN NaN NaN

29 NaN NaN NaN NaN NaN NaN

30 NaN NaN NaN NaN NaN NaN

31 NaN NaN NaN NaN NaN NaN

32 NaN NaN NaN NaN NaN NaN

33 NaN NaN NaN NaN NaN NaN

34 NaN NaN NaN NaN NaN NaN

35 NaN NaN NaN NaN NaN NaN

36 NaN NaN NaN NaN NaN NaN

37 NaN NaN NaN NaN NaN NaN

38 NaN NaN NaN NaN NaN NaN

39 NaN NaN NaN NaN NaN NaN

epoch 17 takes 330 seconds.

[19, 30] loss: 0.212

[19, 60] loss: 0.173

[19, 90] loss: 0.227

[19, 120] loss: 0.228

[19, 150] loss: 0.238

[19, 180] loss: 0.319

[19, 210] loss: 0.200

[19, 240] loss: 0.210

[19, 270] loss: 0.227

[19, 300] loss: 0.235

[19, 330] loss: 0.183

[19, 360] loss: 0.201

[19, 390] loss: 0.201

[19, 420] loss: 0.192

[19, 450] loss: 0.241

[19, 480] loss: 0.257

[19, 510] loss: 0.221

[19, 540] loss: 0.245

[19, 570] loss: 0.216

[19, 600] loss: 0.255

[19, 630] loss: 0.226

[19, 660] loss: 0.183

[19, 690] loss: 0.182

[19, 720] loss: 0.247

[19, 750] loss: 0.303

[19, 780] loss: 0.241

[19, 810] loss: 0.195

[19, 840] loss: 0.227

[19, 870] loss: 0.193

[19, 900] loss: 0.222

[19, 930] loss: 0.250

[19, 960] loss: 0.228

[19, 990] loss: 0.210

[19, 1020] loss: 0.265

[19, 1050] loss: 0.215

[19, 1080] loss: 0.162

[19, 1110] loss: 0.211

[19, 1140] loss: 0.229

[19, 1170] loss: 0.240

[19, 1200] loss: 0.220

[19, 1230] loss: 0.239

[19, 1260] loss: 0.194

[19, 1290] loss: 0.219

[19, 1320] loss: 0.208

[19, 1350] loss: 0.240

[19, 1380] loss: 0.243

[19, 1410] loss: 0.273

[19, 1440] loss: 0.219

[19, 1470] loss: 0.231

[19, 1500] loss: 0.222

[19, 1530] loss: 0.222

[19, 1560] loss: 0.232

[19, 1590] loss: 0.214

[19, 1620] loss: 0.230

[19, 1650] loss: 0.231

[19, 1680] loss: 0.207

[19, 1710] loss: 0.210

[19, 1740] loss: 0.221

[19, 1770] loss: 0.178

[19, 1800] loss: 0.198

[19, 1830] loss: 0.221

[19, 1860] loss: 0.209

[19, 1890] loss: 0.159

[19, 1920] loss: 0.223

[19, 1950] loss: 0.202

[19, 1980] loss: 0.275

[19, 2010] loss: 0.203

[19, 2040] loss: 0.177

[19, 2070] loss: 0.205

[19, 2100] loss: 0.208

[19, 2130] loss: 0.210

[19, 2160] loss: 0.182

[19, 2190] loss: 0.220

ovft_intermediate_models/epoch18_scratch.pt saved.


evaluating on training set...

Accuracy on test images: 0.942930

epoch 18 accuracy on train set is: 0.9429298436932024

evaluating on training set takes 67 seconds.

shallow_train shallow_test scratch_train scratch_test deep_train deep_test

0 NaN NaN 0.277854 0.251999 NaN NaN

1 NaN NaN 0.473737 0.542803 NaN NaN

2 NaN NaN 0.651877 0.724555 NaN NaN

3 NaN NaN 0.742321 0.83197 NaN NaN

4 NaN NaN 0.776081 0.848419 NaN NaN

5 NaN NaN 0.830153 0.892857 NaN NaN

6 NaN NaN 0.839399 0.894039 NaN NaN

7 NaN NaN 0.869706 0.914304 NaN NaN

8 NaN NaN 0.882656 0.925391 NaN NaN

9 NaN NaN 0.903194 0.951018 NaN NaN

10 NaN NaN 0.910305 0.941567 NaN NaN

11 NaN NaN 0.919257 0.959833 NaN NaN

12 NaN NaN 0.923687 0.96365 NaN NaN

13 NaN NaN 0.934115 0.961923 NaN NaN

14 NaN NaN 0.928253 0.96365 NaN NaN

15 NaN NaN 0.936796 0.96574 NaN NaN

16 NaN NaN 0.942794 0.970102 NaN NaN

17 NaN NaN 0.944089 0.969829 NaN NaN

18 NaN NaN 0.94293 NaN NaN NaN

19 NaN NaN NaN NaN NaN NaN

20 NaN NaN NaN NaN NaN NaN

21 NaN NaN NaN NaN NaN NaN

22 NaN NaN NaN NaN NaN NaN

23 NaN NaN NaN NaN NaN NaN

24 NaN NaN NaN NaN NaN NaN

25 NaN NaN NaN NaN NaN NaN

26 NaN NaN NaN NaN NaN NaN

27 NaN NaN NaN NaN NaN NaN

28 NaN NaN NaN NaN NaN NaN

29 NaN NaN NaN NaN NaN NaN

30 NaN NaN NaN NaN NaN NaN

31 NaN NaN NaN NaN NaN NaN

32 NaN NaN NaN NaN NaN NaN

33 NaN NaN NaN NaN NaN NaN

34 NaN NaN NaN NaN NaN NaN

35 NaN NaN NaN NaN NaN NaN

36 NaN NaN NaN NaN NaN NaN

37 NaN NaN NaN NaN NaN NaN

38 NaN NaN NaN NaN NaN NaN

39 NaN NaN NaN NaN NaN NaN

evaluating on test set...

Accuracy on test images: 0.972465

epoch 18 accuracy on test set is: 0.972464558342421

evaluating on test set takes 17 seconds.

shallow_train shallow_test scratch_train scratch_test deep_train deep_test

0 NaN NaN 0.277854 0.251999 NaN NaN

1 NaN NaN 0.473737 0.542803 NaN NaN

2 NaN NaN 0.651877 0.724555 NaN NaN

3 NaN NaN 0.742321 0.83197 NaN NaN

4 NaN NaN 0.776081 0.848419 NaN NaN

5 NaN NaN 0.830153 0.892857 NaN NaN

6 NaN NaN 0.839399 0.894039 NaN NaN

7 NaN NaN 0.869706 0.914304 NaN NaN

8 NaN NaN 0.882656 0.925391 NaN NaN

9 NaN NaN 0.903194 0.951018 NaN NaN

10 NaN NaN 0.910305 0.941567 NaN NaN

11 NaN NaN 0.919257 0.959833 NaN NaN

12 NaN NaN 0.923687 0.96365 NaN NaN

13 NaN NaN 0.934115 0.961923 NaN NaN

14 NaN NaN 0.928253 0.96365 NaN NaN

15 NaN NaN 0.936796 0.96574 NaN NaN

16 NaN NaN 0.942794 0.970102 NaN NaN

17 NaN NaN 0.944089 0.969829 NaN NaN

18 NaN NaN 0.94293 0.972465 NaN NaN

19 NaN NaN NaN NaN NaN NaN

20 NaN NaN NaN NaN NaN NaN

21 NaN NaN NaN NaN NaN NaN

22 NaN NaN NaN NaN NaN NaN

23 NaN NaN NaN NaN NaN NaN

24 NaN NaN NaN NaN NaN NaN

25 NaN NaN NaN NaN NaN NaN

26 NaN NaN NaN NaN NaN NaN

27 NaN NaN NaN NaN NaN NaN

28 NaN NaN NaN NaN NaN NaN

29 NaN NaN NaN NaN NaN NaN

30 NaN NaN NaN NaN NaN NaN

31 NaN NaN NaN NaN NaN NaN

32 NaN NaN NaN NaN NaN NaN

33 NaN NaN NaN NaN NaN NaN

34 NaN NaN NaN NaN NaN NaN

35 NaN NaN NaN NaN NaN NaN

36 NaN NaN NaN NaN NaN NaN

37 NaN NaN NaN NaN NaN NaN

38 NaN NaN NaN NaN NaN NaN

39 NaN NaN NaN NaN NaN NaN

epoch 18 takes 336 seconds.

[20, 30] loss: 0.223

[20, 60] loss: 0.203

[20, 90] loss: 0.200

[20, 120] loss: 0.216

[20, 150] loss: 0.264

[20, 180] loss: 0.187

[20, 210] loss: 0.177

[20, 240] loss: 0.246

[20, 270] loss: 0.266

[20, 300] loss: 0.197

[20, 330] loss: 0.153

[20, 360] loss: 0.218

[20, 390] loss: 0.200

[20, 420] loss: 0.221

[20, 450] loss: 0.255

[20, 480] loss: 0.219

[20, 510] loss: 0.221

[20, 540] loss: 0.179

[20, 570] loss: 0.157

[20, 600] loss: 0.204

[20, 630] loss: 0.180

[20, 660] loss: 0.213

[20, 690] loss: 0.243

[20, 720] loss: 0.174

[20, 750] loss: 0.215

[20, 780] loss: 0.222

[20, 810] loss: 0.204

[20, 840] loss: 0.235

[20, 870] loss: 0.193

[20, 900] loss: 0.196

[20, 930] loss: 0.232

[20, 960] loss: 0.195

[20, 990] loss: 0.276

[20, 1020] loss: 0.228

[20, 1050] loss: 0.201

[20, 1080] loss: 0.204

[20, 1110] loss: 0.247

[20, 1140] loss: 0.225

[20, 1170] loss: 0.210

[20, 1200] loss: 0.204

[20, 1230] loss: 0.226

[20, 1260] loss: 0.258

[20, 1290] loss: 0.221

[20, 1320] loss: 0.178

[20, 1350] loss: 0.214

[20, 1380] loss: 0.225

[20, 1410] loss: 0.237

[20, 1440] loss: 0.215

[20, 1470] loss: 0.185

[20, 1500] loss: 0.239

[20, 1530] loss: 0.136

[20, 1560] loss: 0.225

[20, 1590] loss: 0.195

[20, 1620] loss: 0.258

[20, 1650] loss: 0.274

[20, 1680] loss: 0.212

[20, 1710] loss: 0.189

[20, 1740] loss: 0.286

[20, 1770] loss: 0.199

[20, 1800] loss: 0.284

[20, 1830] loss: 0.213

[20, 1860] loss: 0.236

[20, 1890] loss: 0.193

[20, 1920] loss: 0.177

[20, 1950] loss: 0.212

[20, 1980] loss: 0.213

[20, 2010] loss: 0.180

[20, 2040] loss: 0.209

[20, 2070] loss: 0.230

[20, 2100] loss: 0.227

[20, 2130] loss: 0.215

[20, 2160] loss: 0.160

[20, 2190] loss: 0.198

ovft_intermediate_models/epoch19_scratch.pt saved.


evaluating on training set...

Accuracy on test images: 0.949041

epoch 19 accuracy on train set is: 0.9490412577244638

evaluating on training set takes 69 seconds.

shallow_train shallow_test scratch_train scratch_test deep_train deep_test

0 NaN NaN 0.277854 0.251999 NaN NaN

1 NaN NaN 0.473737 0.542803 NaN NaN

2 NaN NaN 0.651877 0.724555 NaN NaN

3 NaN NaN 0.742321 0.83197 NaN NaN

4 NaN NaN 0.776081 0.848419 NaN NaN

5 NaN NaN 0.830153 0.892857 NaN NaN

6 NaN NaN 0.839399 0.894039 NaN NaN

7 NaN NaN 0.869706 0.914304 NaN NaN

8 NaN NaN 0.882656 0.925391 NaN NaN

9 NaN NaN 0.903194 0.951018 NaN NaN

10 NaN NaN 0.910305 0.941567 NaN NaN

11 NaN NaN 0.919257 0.959833 NaN NaN

12 NaN NaN 0.923687 0.96365 NaN NaN

13 NaN NaN 0.934115 0.961923 NaN NaN

14 NaN NaN 0.928253 0.96365 NaN NaN

15 NaN NaN 0.936796 0.96574 NaN NaN

16 NaN NaN 0.942794 0.970102 NaN NaN

17 NaN NaN 0.944089 0.969829 NaN NaN

18 NaN NaN 0.94293 0.972465 NaN NaN

19 NaN NaN 0.949041 NaN NaN NaN

20 NaN NaN NaN NaN NaN NaN

21 NaN NaN NaN NaN NaN NaN

22 NaN NaN NaN NaN NaN NaN

23 NaN NaN NaN NaN NaN NaN

24 NaN NaN NaN NaN NaN NaN

25 NaN NaN NaN NaN NaN NaN

26 NaN NaN NaN NaN NaN NaN

27 NaN NaN NaN NaN NaN NaN

28 NaN NaN NaN NaN NaN NaN

29 NaN NaN NaN NaN NaN NaN

30 NaN NaN NaN NaN NaN NaN

31 NaN NaN NaN NaN NaN NaN

32 NaN NaN NaN NaN NaN NaN

33 NaN NaN NaN NaN NaN NaN

34 NaN NaN NaN NaN NaN NaN

35 NaN NaN NaN NaN NaN NaN

36 NaN NaN NaN NaN NaN NaN

37 NaN NaN NaN NaN NaN NaN

38 NaN NaN NaN NaN NaN NaN

39 NaN NaN NaN NaN NaN NaN

evaluating on test set...

Accuracy on test images: 0.973646

epoch 19 accuracy on test set is: 0.9736459469283897

evaluating on test set takes 17 seconds.

shallow_train shallow_test scratch_train scratch_test deep_train deep_test

0 NaN NaN 0.277854 0.251999 NaN NaN

1 NaN NaN 0.473737 0.542803 NaN NaN

2 NaN NaN 0.651877 0.724555 NaN NaN

3 NaN NaN 0.742321 0.83197 NaN NaN

4 NaN NaN 0.776081 0.848419 NaN NaN

5 NaN NaN 0.830153 0.892857 NaN NaN

6 NaN NaN 0.839399 0.894039 NaN NaN

7 NaN NaN 0.869706 0.914304 NaN NaN

8 NaN NaN 0.882656 0.925391 NaN NaN

9 NaN NaN 0.903194 0.951018 NaN NaN

10 NaN NaN 0.910305 0.941567 NaN NaN

11 NaN NaN 0.919257 0.959833 NaN NaN

12 NaN NaN 0.923687 0.96365 NaN NaN

13 NaN NaN 0.934115 0.961923 NaN NaN

14 NaN NaN 0.928253 0.96365 NaN NaN

15 NaN NaN 0.936796 0.96574 NaN NaN

16 NaN NaN 0.942794 0.970102 NaN NaN

17 NaN NaN 0.944089 0.969829 NaN NaN

18 NaN NaN 0.94293 0.972465 NaN NaN

19 NaN NaN 0.949041 0.973646 NaN NaN

20 NaN NaN NaN NaN NaN NaN

21 NaN NaN NaN NaN NaN NaN

22 NaN NaN NaN NaN NaN NaN

23 NaN NaN NaN NaN NaN NaN

24 NaN NaN NaN NaN NaN NaN

25 NaN NaN NaN NaN NaN NaN

26 NaN NaN NaN NaN NaN NaN

27 NaN NaN NaN NaN NaN NaN

28 NaN NaN NaN NaN NaN NaN

29 NaN NaN NaN NaN NaN NaN

30 NaN NaN NaN NaN NaN NaN

31 NaN NaN NaN NaN NaN NaN

32 NaN NaN NaN NaN NaN NaN

33 NaN NaN NaN NaN NaN NaN

34 NaN NaN NaN NaN NaN NaN

35 NaN NaN NaN NaN NaN NaN

36 NaN NaN NaN NaN NaN NaN

37 NaN NaN NaN NaN NaN NaN

38 NaN NaN NaN NaN NaN NaN

39 NaN NaN NaN NaN NaN NaN

epoch 19 takes 349 seconds.

[21, 30] loss: 0.228

[21, 60] loss: 0.234

[21, 90] loss: 0.263

[21, 120] loss: 0.222

[21, 150] loss: 0.173

[21, 180] loss: 0.257

[21, 210] loss: 0.173

[21, 240] loss: 0.221

[21, 270] loss: 0.210

[21, 300] loss: 0.248

[21, 330] loss: 0.185

[21, 360] loss: 0.237

[21, 390] loss: 0.219

[21, 420] loss: 0.245

[21, 450] loss: 0.219

[21, 480] loss: 0.241

[21, 510] loss: 0.207

[21, 540] loss: 0.204

[21, 570] loss: 0.246

[21, 600] loss: 0.255

[21, 630] loss: 0.225

[21, 660] loss: 0.156

[21, 690] loss: 0.166

[21, 720] loss: 0.206

[21, 750] loss: 0.201

[21, 780] loss: 0.181

[21, 810] loss: 0.172

[21, 840] loss: 0.151

[21, 870] loss: 0.186

[21, 900] loss: 0.168

[21, 930] loss: 0.221

[21, 960] loss: 0.208

[21, 990] loss: 0.151

[21, 1020] loss: 0.241

[21, 1050] loss: 0.206

[21, 1080] loss: 0.187

[21, 1110] loss: 0.213

[21, 1140] loss: 0.243

[21, 1170] loss: 0.229

[21, 1200] loss: 0.182

[21, 1230] loss: 0.186

[21, 1260] loss: 0.203

[21, 1290] loss: 0.186

[21, 1320] loss: 0.213

[21, 1350] loss: 0.220

[21, 1380] loss: 0.162

[21, 1410] loss: 0.217

[21, 1440] loss: 0.202

[21, 1470] loss: 0.237

[21, 1500] loss: 0.163

[21, 1530] loss: 0.233

[21, 1560] loss: 0.197

[21, 1590] loss: 0.184

[21, 1620] loss: 0.175

[21, 1650] loss: 0.165

[21, 1680] loss: 0.126

[21, 1710] loss: 0.195

[21, 1740] loss: 0.186

[21, 1770] loss: 0.186

[21, 1800] loss: 0.163

[21, 1830] loss: 0.146

[21, 1860] loss: 0.173

[21, 1890] loss: 0.217

[21, 1920] loss: 0.227

[21, 1950] loss: 0.224

[21, 1980] loss: 0.149

[21, 2010] loss: 0.231

[21, 2040] loss: 0.217

[21, 2070] loss: 0.255

[21, 2100] loss: 0.219

[21, 2130] loss: 0.263

[21, 2160] loss: 0.216

[21, 2190] loss: 0.210

ovft_intermediate_models/epoch20_scratch.pt saved.


evaluating on training set...

Accuracy on test images: 0.949677

epoch 20 accuracy on train set is: 0.9496773900399854

evaluating on training set takes 71 seconds.

shallow_train shallow_test scratch_train scratch_test deep_train deep_test

0 NaN NaN 0.277854 0.251999 NaN NaN

1 NaN NaN 0.473737 0.542803 NaN NaN

2 NaN NaN 0.651877 0.724555 NaN NaN

3 NaN NaN 0.742321 0.83197 NaN NaN

4 NaN NaN 0.776081 0.848419 NaN NaN

5 NaN NaN 0.830153 0.892857 NaN NaN

6 NaN NaN 0.839399 0.894039 NaN NaN

7 NaN NaN 0.869706 0.914304 NaN NaN

8 NaN NaN 0.882656 0.925391 NaN NaN

9 NaN NaN 0.903194 0.951018 NaN NaN

10 NaN NaN 0.910305 0.941567 NaN NaN

11 NaN NaN 0.919257 0.959833 NaN NaN

12 NaN NaN 0.923687 0.96365 NaN NaN

13 NaN NaN 0.934115 0.961923 NaN NaN

14 NaN NaN 0.928253 0.96365 NaN NaN

15 NaN NaN 0.936796 0.96574 NaN NaN

16 NaN NaN 0.942794 0.970102 NaN NaN

17 NaN NaN 0.944089 0.969829 NaN NaN

18 NaN NaN 0.94293 0.972465 NaN NaN

19 NaN NaN 0.949041 0.973646 NaN NaN

20 NaN NaN 0.949677 NaN NaN NaN

21 NaN NaN NaN NaN NaN NaN

22 NaN NaN NaN NaN NaN NaN

23 NaN NaN NaN NaN NaN NaN

24 NaN NaN NaN NaN NaN NaN

25 NaN NaN NaN NaN NaN NaN

26 NaN NaN NaN NaN NaN NaN

27 NaN NaN NaN NaN NaN NaN

28 NaN NaN NaN NaN NaN NaN

29 NaN NaN NaN NaN NaN NaN

30 NaN NaN NaN NaN NaN NaN

31 NaN NaN NaN NaN NaN NaN

32 NaN NaN NaN NaN NaN NaN

33 NaN NaN NaN NaN NaN NaN

34 NaN NaN NaN NaN NaN NaN

35 NaN NaN NaN NaN NaN NaN

36 NaN NaN NaN NaN NaN NaN

37 NaN NaN NaN NaN NaN NaN

38 NaN NaN NaN NaN NaN NaN

39 NaN NaN NaN NaN NaN NaN

evaluating on test set...

Accuracy on test images: 0.973101

epoch 20 accuracy on test set is: 0.9731006906579426

evaluating on test set takes 18 seconds.

shallow_train shallow_test scratch_train scratch_test deep_train deep_test

0 NaN NaN 0.277854 0.251999 NaN NaN

1 NaN NaN 0.473737 0.542803 NaN NaN

2 NaN NaN 0.651877 0.724555 NaN NaN

3 NaN NaN 0.742321 0.83197 NaN NaN

4 NaN NaN 0.776081 0.848419 NaN NaN

5 NaN NaN 0.830153 0.892857 NaN NaN

6 NaN NaN 0.839399 0.894039 NaN NaN

7 NaN NaN 0.869706 0.914304 NaN NaN

8 NaN NaN 0.882656 0.925391 NaN NaN

9 NaN NaN 0.903194 0.951018 NaN NaN

10 NaN NaN 0.910305 0.941567 NaN NaN

11 NaN NaN 0.919257 0.959833 NaN NaN

12 NaN NaN 0.923687 0.96365 NaN NaN

13 NaN NaN 0.934115 0.961923 NaN NaN

14 NaN NaN 0.928253 0.96365 NaN NaN

15 NaN NaN 0.936796 0.96574 NaN NaN

16 NaN NaN 0.942794 0.970102 NaN NaN

17 NaN NaN 0.944089 0.969829 NaN NaN

18 NaN NaN 0.94293 0.972465 NaN NaN

19 NaN NaN 0.949041 0.973646 NaN NaN

20 NaN NaN 0.949677 0.973101 NaN NaN

21 NaN NaN NaN NaN NaN NaN

22 NaN NaN NaN NaN NaN NaN

23 NaN NaN NaN NaN NaN NaN

24 NaN NaN NaN NaN NaN NaN

25 NaN NaN NaN NaN NaN NaN

26 NaN NaN NaN NaN NaN NaN

27 NaN NaN NaN NaN NaN NaN

28 NaN NaN NaN NaN NaN NaN

29 NaN NaN NaN NaN NaN NaN

30 NaN NaN NaN NaN NaN NaN

31 NaN NaN NaN NaN NaN NaN

32 NaN NaN NaN NaN NaN NaN

33 NaN NaN NaN NaN NaN NaN

34 NaN NaN NaN NaN NaN NaN

35 NaN NaN NaN NaN NaN NaN

36 NaN NaN NaN NaN NaN NaN

37 NaN NaN NaN NaN NaN NaN

38 NaN NaN NaN NaN NaN NaN

39 NaN NaN NaN NaN NaN NaN

epoch 20 takes 350 seconds.

[22, 30] loss: 0.172

[22, 60] loss: 0.217

[22, 90] loss: 0.244

[22, 120] loss: 0.166

[22, 150] loss: 0.161

[22, 180] loss: 0.123

[22, 210] loss: 0.216

[22, 240] loss: 0.183

[22, 270] loss: 0.229

[22, 300] loss: 0.194

[22, 330] loss: 0.232

[22, 360] loss: 0.206

[22, 390] loss: 0.151

[22, 420] loss: 0.206

[22, 450] loss: 0.200

[22, 480] loss: 0.224

[22, 510] loss: 0.220

[22, 540] loss: 0.239

[22, 570] loss: 0.244

[22, 600] loss: 0.203

[22, 630] loss: 0.177

[22, 660] loss: 0.206

[22, 690] loss: 0.172

[22, 720] loss: 0.193

[22, 750] loss: 0.183

[22, 780] loss: 0.208

[22, 810] loss: 0.191

[22, 840] loss: 0.205

[22, 870] loss: 0.167

[22, 900] loss: 0.181

[22, 930] loss: 0.179

[22, 960] loss: 0.194

[22, 990] loss: 0.152

[22, 1020] loss: 0.213

[22, 1050] loss: 0.146

[22, 1080] loss: 0.258

[22, 1110] loss: 0.170

[22, 1140] loss: 0.242

[22, 1170] loss: 0.204

[22, 1200] loss: 0.199

[22, 1230] loss: 0.220

[22, 1260] loss: 0.169

[22, 1290] loss: 0.156

[22, 1320] loss: 0.200

[22, 1350] loss: 0.190

[22, 1380] loss: 0.165

[22, 1410] loss: 0.148

[22, 1440] loss: 0.234

[22, 1470] loss: 0.208

[22, 1500] loss: 0.214

[22, 1530] loss: 0.221

[22, 1560] loss: 0.166

[22, 1590] loss: 0.186

[22, 1620] loss: 0.180

[22, 1650] loss: 0.228

[22, 1680] loss: 0.199

[22, 1710] loss: 0.178

[22, 1740] loss: 0.176

[22, 1770] loss: 0.195

[22, 1800] loss: 0.163

[22, 1830] loss: 0.203

[22, 1860] loss: 0.132

[22, 1890] loss: 0.160

[22, 1920] loss: 0.137

[22, 1950] loss: 0.140

[22, 1980] loss: 0.214

[22, 2010] loss: 0.139

[22, 2040] loss: 0.155

[22, 2070] loss: 0.190

[22, 2100] loss: 0.129

[22, 2130] loss: 0.204

[22, 2160] loss: 0.188

[22, 2190] loss: 0.219

ovft_intermediate_models/epoch21_scratch.pt saved.


evaluating on training set...

Accuracy on test images: 0.935751

epoch 21 accuracy on train set is: 0.9357506361323156

evaluating on training set takes 69 seconds.

shallow_train shallow_test scratch_train scratch_test deep_train deep_test

0 NaN NaN 0.277854 0.251999 NaN NaN

1 NaN NaN 0.473737 0.542803 NaN NaN

2 NaN NaN 0.651877 0.724555 NaN NaN

3 NaN NaN 0.742321 0.83197 NaN NaN

4 NaN NaN 0.776081 0.848419 NaN NaN

5 NaN NaN 0.830153 0.892857 NaN NaN

6 NaN NaN 0.839399 0.894039 NaN NaN

7 NaN NaN 0.869706 0.914304 NaN NaN

8 NaN NaN 0.882656 0.925391 NaN NaN

9 NaN NaN 0.903194 0.951018 NaN NaN

10 NaN NaN 0.910305 0.941567 NaN NaN

11 NaN NaN 0.919257 0.959833 NaN NaN

12 NaN NaN 0.923687 0.96365 NaN NaN

13 NaN NaN 0.934115 0.961923 NaN NaN

14 NaN NaN 0.928253 0.96365 NaN NaN

15 NaN NaN 0.936796 0.96574 NaN NaN

16 NaN NaN 0.942794 0.970102 NaN NaN

17 NaN NaN 0.944089 0.969829 NaN NaN

18 NaN NaN 0.94293 0.972465 NaN NaN

19 NaN NaN 0.949041 0.973646 NaN NaN

20 NaN NaN 0.949677 0.973101 NaN NaN

21 NaN NaN 0.935751 NaN NaN NaN

22 NaN NaN NaN NaN NaN NaN

23 NaN NaN NaN NaN NaN NaN

24 NaN NaN NaN NaN NaN NaN

25 NaN NaN NaN NaN NaN NaN

26 NaN NaN NaN NaN NaN NaN

27 NaN NaN NaN NaN NaN NaN

28 NaN NaN NaN NaN NaN NaN

29 NaN NaN NaN NaN NaN NaN

30 NaN NaN NaN NaN NaN NaN

31 NaN NaN NaN NaN NaN NaN

32 NaN NaN NaN NaN NaN NaN

33 NaN NaN NaN NaN NaN NaN

34 NaN NaN NaN NaN NaN NaN

35 NaN NaN NaN NaN NaN NaN

36 NaN NaN NaN NaN NaN NaN

37 NaN NaN NaN NaN NaN NaN

38 NaN NaN NaN NaN NaN NaN

39 NaN NaN NaN NaN NaN NaN

evaluating on test set...

Accuracy on test images: 0.955107

epoch 21 accuracy on test set is: 0.955107233733188

evaluating on test set takes 17 seconds.

shallow_train shallow_test scratch_train scratch_test deep_train deep_test

0 NaN NaN 0.277854 0.251999 NaN NaN

1 NaN NaN 0.473737 0.542803 NaN NaN

2 NaN NaN 0.651877 0.724555 NaN NaN

3 NaN NaN 0.742321 0.83197 NaN NaN

4 NaN NaN 0.776081 0.848419 NaN NaN

5 NaN NaN 0.830153 0.892857 NaN NaN

6 NaN NaN 0.839399 0.894039 NaN NaN

7 NaN NaN 0.869706 0.914304 NaN NaN

8 NaN NaN 0.882656 0.925391 NaN NaN

9 NaN NaN 0.903194 0.951018 NaN NaN

10 NaN NaN 0.910305 0.941567 NaN NaN

11 NaN NaN 0.919257 0.959833 NaN NaN

12 NaN NaN 0.923687 0.96365 NaN NaN

13 NaN NaN 0.934115 0.961923 NaN NaN

14 NaN NaN 0.928253 0.96365 NaN NaN

15 NaN NaN 0.936796 0.96574 NaN NaN

16 NaN NaN 0.942794 0.970102 NaN NaN

17 NaN NaN 0.944089 0.969829 NaN NaN

18 NaN NaN 0.94293 0.972465 NaN NaN

19 NaN NaN 0.949041 0.973646 NaN NaN

20 NaN NaN 0.949677 0.973101 NaN NaN

21 NaN NaN 0.935751 0.955107 NaN NaN

22 NaN NaN NaN NaN NaN NaN

23 NaN NaN NaN NaN NaN NaN

24 NaN NaN NaN NaN NaN NaN

25 NaN NaN NaN NaN NaN NaN

26 NaN NaN NaN NaN NaN NaN

27 NaN NaN NaN NaN NaN NaN

28 NaN NaN NaN NaN NaN NaN

29 NaN NaN NaN NaN NaN NaN

30 NaN NaN NaN NaN NaN NaN

31 NaN NaN NaN NaN NaN NaN

32 NaN NaN NaN NaN NaN NaN

33 NaN NaN NaN NaN NaN NaN

34 NaN NaN NaN NaN NaN NaN

35 NaN NaN NaN NaN NaN NaN

36 NaN NaN NaN NaN NaN NaN

37 NaN NaN NaN NaN NaN NaN

38 NaN NaN NaN NaN NaN NaN

39 NaN NaN NaN NaN NaN NaN

epoch 21 takes 346 seconds.

[23, 30] loss: 0.238

[23, 60] loss: 0.200

[23, 90] loss: 0.189

[23, 120] loss: 0.178

[23, 150] loss: 0.186

[23, 180] loss: 0.203

[23, 210] loss: 0.171

[23, 240] loss: 0.222

[23, 270] loss: 0.208

[23, 300] loss: 0.159

[23, 330] loss: 0.154

[23, 360] loss: 0.137

[23, 390] loss: 0.151

[23, 420] loss: 0.211

[23, 450] loss: 0.159

[23, 480] loss: 0.258

[23, 510] loss: 0.208

[23, 540] loss: 0.224

[23, 570] loss: 0.202

[23, 600] loss: 0.227

[23, 630] loss: 0.148

[23, 660] loss: 0.236

[23, 690] loss: 0.246

[23, 720] loss: 0.164

[23, 750] loss: 0.148

[23, 780] loss: 0.156

[23, 810] loss: 0.195

[23, 840] loss: 0.204

[23, 870] loss: 0.151

[23, 900] loss: 0.180

[23, 930] loss: 0.171

[23, 960] loss: 0.206

[23, 990] loss: 0.175

[23, 1020] loss: 0.159

[23, 1050] loss: 0.252

[23, 1080] loss: 0.202

[23, 1110] loss: 0.216

[23, 1140] loss: 0.141

[23, 1170] loss: 0.186

[23, 1200] loss: 0.211

[23, 1230] loss: 0.187

[23, 1260] loss: 0.221

[23, 1290] loss: 0.162

[23, 1320] loss: 0.137

[23, 1350] loss: 0.168

[23, 1380] loss: 0.171

[23, 1410] loss: 0.217

[23, 1440] loss: 0.229

[23, 1470] loss: 0.168

[23, 1500] loss: 0.196

[23, 1530] loss: 0.183

[23, 1560] loss: 0.168

[23, 1590] loss: 0.166

[23, 1620] loss: 0.193

[23, 1650] loss: 0.223

[23, 1680] loss: 0.219

[23, 1710] loss: 0.149

[23, 1740] loss: 0.234

[23, 1770] loss: 0.175

[23, 1800] loss: 0.199

[23, 1830] loss: 0.136

[23, 1860] loss: 0.168

[23, 1890] loss: 0.126

[23, 1920] loss: 0.224

[23, 1950] loss: 0.151

[23, 1980] loss: 0.181

[23, 2010] loss: 0.160

[23, 2040] loss: 0.205

[23, 2070] loss: 0.247

[23, 2100] loss: 0.215

[23, 2130] loss: 0.193

[23, 2160] loss: 0.188

[23, 2190] loss: 0.146

ovft_intermediate_models/epoch22_scratch.pt saved.


evaluating on training set...

Accuracy on test images: 0.952449

epoch 22 accuracy on train set is: 0.9524491094147582

evaluating on training set takes 67 seconds.

shallow_train shallow_test scratch_train scratch_test deep_train deep_test

0 NaN NaN 0.277854 0.251999 NaN NaN

1 NaN NaN 0.473737 0.542803 NaN NaN

2 NaN NaN 0.651877 0.724555 NaN NaN

3 NaN NaN 0.742321 0.83197 NaN NaN

4 NaN NaN 0.776081 0.848419 NaN NaN

5 NaN NaN 0.830153 0.892857 NaN NaN

6 NaN NaN 0.839399 0.894039 NaN NaN

7 NaN NaN 0.869706 0.914304 NaN NaN

8 NaN NaN 0.882656 0.925391 NaN NaN

9 NaN NaN 0.903194 0.951018 NaN NaN

10 NaN NaN 0.910305 0.941567 NaN NaN

11 NaN NaN 0.919257 0.959833 NaN NaN

12 NaN NaN 0.923687 0.96365 NaN NaN

13 NaN NaN 0.934115 0.961923 NaN NaN

14 NaN NaN 0.928253 0.96365 NaN NaN

15 NaN NaN 0.936796 0.96574 NaN NaN

16 NaN NaN 0.942794 0.970102 NaN NaN

17 NaN NaN 0.944089 0.969829 NaN NaN

18 NaN NaN 0.94293 0.972465 NaN NaN

19 NaN NaN 0.949041 0.973646 NaN NaN

20 NaN NaN 0.949677 0.973101 NaN NaN

21 NaN NaN 0.935751 0.955107 NaN NaN

22 NaN NaN 0.952449 NaN NaN NaN

23 NaN NaN NaN NaN NaN NaN

24 NaN NaN NaN NaN NaN NaN

25 NaN NaN NaN NaN NaN NaN

26 NaN NaN NaN NaN NaN NaN

27 NaN NaN NaN NaN NaN NaN

28 NaN NaN NaN NaN NaN NaN

29 NaN NaN NaN NaN NaN NaN

30 NaN NaN NaN NaN NaN NaN

31 NaN NaN NaN NaN NaN NaN

32 NaN NaN NaN NaN NaN NaN

33 NaN NaN NaN NaN NaN NaN

34 NaN NaN NaN NaN NaN NaN

35 NaN NaN NaN NaN NaN NaN

36 NaN NaN NaN NaN NaN NaN

37 NaN NaN NaN NaN NaN NaN

38 NaN NaN NaN NaN NaN NaN

39 NaN NaN NaN NaN NaN NaN

evaluating on test set...

Accuracy on test images: 0.973646

epoch 22 accuracy on test set is: 0.9736459469283897

evaluating on test set takes 18 seconds.

shallow_train shallow_test scratch_train scratch_test deep_train deep_test

0 NaN NaN 0.277854 0.251999 NaN NaN

1 NaN NaN 0.473737 0.542803 NaN NaN

2 NaN NaN 0.651877 0.724555 NaN NaN

3 NaN NaN 0.742321 0.83197 NaN NaN

4 NaN NaN 0.776081 0.848419 NaN NaN

5 NaN NaN 0.830153 0.892857 NaN NaN

6 NaN NaN 0.839399 0.894039 NaN NaN

7 NaN NaN 0.869706 0.914304 NaN NaN

8 NaN NaN 0.882656 0.925391 NaN NaN

9 NaN NaN 0.903194 0.951018 NaN NaN

10 NaN NaN 0.910305 0.941567 NaN NaN

11 NaN NaN 0.919257 0.959833 NaN NaN

12 NaN NaN 0.923687 0.96365 NaN NaN

13 NaN NaN 0.934115 0.961923 NaN NaN

14 NaN NaN 0.928253 0.96365 NaN NaN

15 NaN NaN 0.936796 0.96574 NaN NaN

16 NaN NaN 0.942794 0.970102 NaN NaN

17 NaN NaN 0.944089 0.969829 NaN NaN

18 NaN NaN 0.94293 0.972465 NaN NaN

19 NaN NaN 0.949041 0.973646 NaN NaN

20 NaN NaN 0.949677 0.973101 NaN NaN

21 NaN NaN 0.935751 0.955107 NaN NaN

22 NaN NaN 0.952449 0.973646 NaN NaN

23 NaN NaN NaN NaN NaN NaN

24 NaN NaN NaN NaN NaN NaN

25 NaN NaN NaN NaN NaN NaN

26 NaN NaN NaN NaN NaN NaN

27 NaN NaN NaN NaN NaN NaN

28 NaN NaN NaN NaN NaN NaN

29 NaN NaN NaN NaN NaN NaN

30 NaN NaN NaN NaN NaN NaN

31 NaN NaN NaN NaN NaN NaN

32 NaN NaN NaN NaN NaN NaN

33 NaN NaN NaN NaN NaN NaN

34 NaN NaN NaN NaN NaN NaN

35 NaN NaN NaN NaN NaN NaN

36 NaN NaN NaN NaN NaN NaN

37 NaN NaN NaN NaN NaN NaN

38 NaN NaN NaN NaN NaN NaN

39 NaN NaN NaN NaN NaN NaN

epoch 22 takes 331 seconds.

[24, 30] loss: 0.207

[24, 60] loss: 0.252

[24, 90] loss: 0.209

[24, 120] loss: 0.203

[24, 150] loss: 0.169

[24, 180] loss: 0.186

[24, 210] loss: 0.170

[24, 240] loss: 0.175

[24, 270] loss: 0.169

[24, 300] loss: 0.182

[24, 330] loss: 0.161

[24, 360] loss: 0.188

[24, 390] loss: 0.233

[24, 420] loss: 0.142

[24, 450] loss: 0.175

[24, 480] loss: 0.195

[24, 510] loss: 0.201

[24, 540] loss: 0.187

[24, 570] loss: 0.168

[24, 600] loss: 0.178

[24, 630] loss: 0.182

[24, 660] loss: 0.172

[24, 690] loss: 0.165

[24, 720] loss: 0.259

[24, 750] loss: 0.206

[24, 780] loss: 0.226

[24, 810] loss: 0.172

[24, 840] loss: 0.196

[24, 870] loss: 0.179

[24, 900] loss: 0.198

[24, 930] loss: 0.186

[24, 960] loss: 0.182

[24, 990] loss: 0.233

[24, 1020] loss: 0.169

[24, 1050] loss: 0.148

[24, 1080] loss: 0.219

[24, 1110] loss: 0.132

[24, 1140] loss: 0.152

[24, 1170] loss: 0.161

[24, 1200] loss: 0.181

[24, 1230] loss: 0.173

[24, 1260] loss: 0.195

[24, 1290] loss: 0.200

[24, 1320] loss: 0.171

[24, 1350] loss: 0.153

[24, 1380] loss: 0.198

[24, 1410] loss: 0.184

[24, 1440] loss: 0.190

[24, 1470] loss: 0.208

[24, 1500] loss: 0.177

[24, 1530] loss: 0.174

[24, 1560] loss: 0.184

[24, 1590] loss: 0.129

[24, 1620] loss: 0.189

[24, 1650] loss: 0.135

[24, 1680] loss: 0.150

[24, 1710] loss: 0.215

[24, 1740] loss: 0.200

[24, 1770] loss: 0.175

[24, 1800] loss: 0.178

[24, 1830] loss: 0.201

[24, 1860] loss: 0.180

[24, 1890] loss: 0.129

[24, 1920] loss: 0.213

[24, 1950] loss: 0.201

[24, 1980] loss: 0.154

[24, 2010] loss: 0.131

[24, 2040] loss: 0.141

[24, 2070] loss: 0.166

[24, 2100] loss: 0.240

[24, 2130] loss: 0.203

[24, 2160] loss: 0.208

[24, 2190] loss: 0.171

ovft_intermediate_models/epoch23_scratch.pt saved.


evaluating on training set...

Accuracy on test images: 0.953085

epoch 23 accuracy on train set is: 0.9530852417302799

evaluating on training set takes 74 seconds.

shallow_train shallow_test scratch_train scratch_test deep_train deep_test

0 NaN NaN 0.277854 0.251999 NaN NaN

1 NaN NaN 0.473737 0.542803 NaN NaN

2 NaN NaN 0.651877 0.724555 NaN NaN

3 NaN NaN 0.742321 0.83197 NaN NaN

4 NaN NaN 0.776081 0.848419 NaN NaN

5 NaN NaN 0.830153 0.892857 NaN NaN

6 NaN NaN 0.839399 0.894039 NaN NaN

7 NaN NaN 0.869706 0.914304 NaN NaN

8 NaN NaN 0.882656 0.925391 NaN NaN

9 NaN NaN 0.903194 0.951018 NaN NaN

10 NaN NaN 0.910305 0.941567 NaN NaN

11 NaN NaN 0.919257 0.959833 NaN NaN

12 NaN NaN 0.923687 0.96365 NaN NaN

13 NaN NaN 0.934115 0.961923 NaN NaN

14 NaN NaN 0.928253 0.96365 NaN NaN

15 NaN NaN 0.936796 0.96574 NaN NaN

16 NaN NaN 0.942794 0.970102 NaN NaN

17 NaN NaN 0.944089 0.969829 NaN NaN

18 NaN NaN 0.94293 0.972465 NaN NaN

19 NaN NaN 0.949041 0.973646 NaN NaN

20 NaN NaN 0.949677 0.973101 NaN NaN

21 NaN NaN 0.935751 0.955107 NaN NaN

22 NaN NaN 0.952449 0.973646 NaN NaN

23 NaN NaN 0.953085 NaN NaN NaN

24 NaN NaN NaN NaN NaN NaN

25 NaN NaN NaN NaN NaN NaN

26 NaN NaN NaN NaN NaN NaN

27 NaN NaN NaN NaN NaN NaN

28 NaN NaN NaN NaN NaN NaN

29 NaN NaN NaN NaN NaN NaN

30 NaN NaN NaN NaN NaN NaN

31 NaN NaN NaN NaN NaN NaN

32 NaN NaN NaN NaN NaN NaN

33 NaN NaN NaN NaN NaN NaN

34 NaN NaN NaN NaN NaN NaN

35 NaN NaN NaN NaN NaN NaN

36 NaN NaN NaN NaN NaN NaN

37 NaN NaN NaN NaN NaN NaN

38 NaN NaN NaN NaN NaN NaN

39 NaN NaN NaN NaN NaN NaN

evaluating on test set...

Accuracy on test images: 0.976190

epoch 23 accuracy on test set is: 0.9761904761904762

evaluating on test set takes 18 seconds.

shallow_train shallow_test scratch_train scratch_test deep_train deep_test

0 NaN NaN 0.277854 0.251999 NaN NaN

1 NaN NaN 0.473737 0.542803 NaN NaN

2 NaN NaN 0.651877 0.724555 NaN NaN

3 NaN NaN 0.742321 0.83197 NaN NaN

4 NaN NaN 0.776081 0.848419 NaN NaN

5 NaN NaN 0.830153 0.892857 NaN NaN

6 NaN NaN 0.839399 0.894039 NaN NaN

7 NaN NaN 0.869706 0.914304 NaN NaN

8 NaN NaN 0.882656 0.925391 NaN NaN

9 NaN NaN 0.903194 0.951018 NaN NaN

10 NaN NaN 0.910305 0.941567 NaN NaN

11 NaN NaN 0.919257 0.959833 NaN NaN

12 NaN NaN 0.923687 0.96365 NaN NaN

13 NaN NaN 0.934115 0.961923 NaN NaN

14 NaN NaN 0.928253 0.96365 NaN NaN

15 NaN NaN 0.936796 0.96574 NaN NaN

16 NaN NaN 0.942794 0.970102 NaN NaN

17 NaN NaN 0.944089 0.969829 NaN NaN

18 NaN NaN 0.94293 0.972465 NaN NaN

19 NaN NaN 0.949041 0.973646 NaN NaN

20 NaN NaN 0.949677 0.973101 NaN NaN

21 NaN NaN 0.935751 0.955107 NaN NaN

22 NaN NaN 0.952449 0.973646 NaN NaN

23 NaN NaN 0.953085 0.97619 NaN NaN

24 NaN NaN NaN NaN NaN NaN

25 NaN NaN NaN NaN NaN NaN

26 NaN NaN NaN NaN NaN NaN

27 NaN NaN NaN NaN NaN NaN

28 NaN NaN NaN NaN NaN NaN

29 NaN NaN NaN NaN NaN NaN

30 NaN NaN NaN NaN NaN NaN

31 NaN NaN NaN NaN NaN NaN

32 NaN NaN NaN NaN NaN NaN

33 NaN NaN NaN NaN NaN NaN

34 NaN NaN NaN NaN NaN NaN

35 NaN NaN NaN NaN NaN NaN

36 NaN NaN NaN NaN NaN NaN

37 NaN NaN NaN NaN NaN NaN

38 NaN NaN NaN NaN NaN NaN

39 NaN NaN NaN NaN NaN NaN

epoch 23 takes 353 seconds.

[25, 30] loss: 0.192

[25, 60] loss: 0.154

[25, 90] loss: 0.144

[25, 120] loss: 0.162

[25, 150] loss: 0.142

[25, 180] loss: 0.209

[25, 210] loss: 0.151

[25, 240] loss: 0.134

[25, 270] loss: 0.164

[25, 300] loss: 0.184

[25, 330] loss: 0.121

[25, 360] loss: 0.135

[25, 390] loss: 0.176

[25, 420] loss: 0.140

[25, 450] loss: 0.202

[25, 480] loss: 0.135

[25, 510] loss: 0.134

[25, 540] loss: 0.192

[25, 570] loss: 0.165

[25, 600] loss: 0.174

[25, 630] loss: 0.176

[25, 660] loss: 0.155

[25, 690] loss: 0.185

[25, 720] loss: 0.170

[25, 750] loss: 0.245

[25, 780] loss: 0.167

[25, 810] loss: 0.196

[25, 840] loss: 0.192

[25, 870] loss: 0.194

[25, 900] loss: 0.130

[25, 930] loss: 0.161

[25, 960] loss: 0.205

[25, 990] loss: 0.172

[25, 1020] loss: 0.172

[25, 1050] loss: 0.158

[25, 1080] loss: 0.129

[25, 1110] loss: 0.159

[25, 1140] loss: 0.172

[25, 1170] loss: 0.144

[25, 1200] loss: 0.187

[25, 1230] loss: 0.170

[25, 1260] loss: 0.138

[25, 1290] loss: 0.171

[25, 1320] loss: 0.191

[25, 1350] loss: 0.219

[25, 1380] loss: 0.203

[25, 1410] loss: 0.165

[25, 1440] loss: 0.160

[25, 1470] loss: 0.197

[25, 1500] loss: 0.192

[25, 1530] loss: 0.133

[25, 1560] loss: 0.145

[25, 1590] loss: 0.162

[25, 1620] loss: 0.158

[25, 1650] loss: 0.218

[25, 1680] loss: 0.137

[25, 1710] loss: 0.176

[25, 1740] loss: 0.151

[25, 1770] loss: 0.173

[25, 1800] loss: 0.191

[25, 1830] loss: 0.180

[25, 1860] loss: 0.185

[25, 1890] loss: 0.161

[25, 1920] loss: 0.121

[25, 1950] loss: 0.183

[25, 1980] loss: 0.167

[25, 2010] loss: 0.170

[25, 2040] loss: 0.170

[25, 2070] loss: 0.161

[25, 2100] loss: 0.165

[25, 2130] loss: 0.116

[25, 2160] loss: 0.155

[25, 2190] loss: 0.176

ovft_intermediate_models/epoch24_scratch.pt saved.


evaluating on training set...

Accuracy on test images: 0.958879

epoch 24 accuracy on train set is: 0.9588785896037805

evaluating on training set takes 68 seconds.

shallow_train shallow_test scratch_train scratch_test deep_train deep_test

0 NaN NaN 0.277854 0.251999 NaN NaN

1 NaN NaN 0.473737 0.542803 NaN NaN

2 NaN NaN 0.651877 0.724555 NaN NaN

3 NaN NaN 0.742321 0.83197 NaN NaN

4 NaN NaN 0.776081 0.848419 NaN NaN

5 NaN NaN 0.830153 0.892857 NaN NaN

6 NaN NaN 0.839399 0.894039 NaN NaN

7 NaN NaN 0.869706 0.914304 NaN NaN

8 NaN NaN 0.882656 0.925391 NaN NaN

9 NaN NaN 0.903194 0.951018 NaN NaN

10 NaN NaN 0.910305 0.941567 NaN NaN

11 NaN NaN 0.919257 0.959833 NaN NaN

12 NaN NaN 0.923687 0.96365 NaN NaN

13 NaN NaN 0.934115 0.961923 NaN NaN

14 NaN NaN 0.928253 0.96365 NaN NaN

15 NaN NaN 0.936796 0.96574 NaN NaN

16 NaN NaN 0.942794 0.970102 NaN NaN

17 NaN NaN 0.944089 0.969829 NaN NaN

18 NaN NaN 0.94293 0.972465 NaN NaN

19 NaN NaN 0.949041 0.973646 NaN NaN

20 NaN NaN 0.949677 0.973101 NaN NaN

21 NaN NaN 0.935751 0.955107 NaN NaN

22 NaN NaN 0.952449 0.973646 NaN NaN

23 NaN NaN 0.953085 0.97619 NaN NaN

24 NaN NaN 0.958879 NaN NaN NaN

25 NaN NaN NaN NaN NaN NaN

26 NaN NaN NaN NaN NaN NaN

27 NaN NaN NaN NaN NaN NaN

28 NaN NaN NaN NaN NaN NaN

29 NaN NaN NaN NaN NaN NaN

30 NaN NaN NaN NaN NaN NaN

31 NaN NaN NaN NaN NaN NaN

32 NaN NaN NaN NaN NaN NaN

33 NaN NaN NaN NaN NaN NaN

34 NaN NaN NaN NaN NaN NaN

35 NaN NaN NaN NaN NaN NaN

36 NaN NaN NaN NaN NaN NaN

37 NaN NaN NaN NaN NaN NaN

38 NaN NaN NaN NaN NaN NaN

39 NaN NaN NaN NaN NaN NaN

evaluating on test set...

Accuracy on test images: 0.979916

epoch 24 accuracy on test set is: 0.9799163940385315

evaluating on test set takes 17 seconds.

shallow_train shallow_test scratch_train scratch_test deep_train deep_test

0 NaN NaN 0.277854 0.251999 NaN NaN

1 NaN NaN 0.473737 0.542803 NaN NaN

2 NaN NaN 0.651877 0.724555 NaN NaN

3 NaN NaN 0.742321 0.83197 NaN NaN

4 NaN NaN 0.776081 0.848419 NaN NaN

5 NaN NaN 0.830153 0.892857 NaN NaN

6 NaN NaN 0.839399 0.894039 NaN NaN

7 NaN NaN 0.869706 0.914304 NaN NaN

8 NaN NaN 0.882656 0.925391 NaN NaN

9 NaN NaN 0.903194 0.951018 NaN NaN

10 NaN NaN 0.910305 0.941567 NaN NaN

11 NaN NaN 0.919257 0.959833 NaN NaN

12 NaN NaN 0.923687 0.96365 NaN NaN

13 NaN NaN 0.934115 0.961923 NaN NaN

14 NaN NaN 0.928253 0.96365 NaN NaN

15 NaN NaN 0.936796 0.96574 NaN NaN

16 NaN NaN 0.942794 0.970102 NaN NaN

17 NaN NaN 0.944089 0.969829 NaN NaN

18 NaN NaN 0.94293 0.972465 NaN NaN

19 NaN NaN 0.949041 0.973646 NaN NaN

20 NaN NaN 0.949677 0.973101 NaN NaN

21 NaN NaN 0.935751 0.955107 NaN NaN

22 NaN NaN 0.952449 0.973646 NaN NaN

23 NaN NaN 0.953085 0.97619 NaN NaN

24 NaN NaN 0.958879 0.979916 NaN NaN

25 NaN NaN NaN NaN NaN NaN

26 NaN NaN NaN NaN NaN NaN

27 NaN NaN NaN NaN NaN NaN

28 NaN NaN NaN NaN NaN NaN

29 NaN NaN NaN NaN NaN NaN

30 NaN NaN NaN NaN NaN NaN

31 NaN NaN NaN NaN NaN NaN

32 NaN NaN NaN NaN NaN NaN

33 NaN NaN NaN NaN NaN NaN

34 NaN NaN NaN NaN NaN NaN

35 NaN NaN NaN NaN NaN NaN

36 NaN NaN NaN NaN NaN NaN

37 NaN NaN NaN NaN NaN NaN

38 NaN NaN NaN NaN NaN NaN

39 NaN NaN NaN NaN NaN NaN

epoch 24 takes 340 seconds.

[26, 30] loss: 0.126

[26, 60] loss: 0.175

[26, 90] loss: 0.144

[26, 120] loss: 0.118

[26, 150] loss: 0.226

[26, 180] loss: 0.167

[26, 210] loss: 0.193

[26, 240] loss: 0.141

[26, 270] loss: 0.187

[26, 300] loss: 0.187

[26, 330] loss: 0.112

[26, 360] loss: 0.197

[26, 390] loss: 0.180

[26, 420] loss: 0.134

[26, 450] loss: 0.155

[26, 480] loss: 0.206

[26, 510] loss: 0.178

[26, 540] loss: 0.222

[26, 570] loss: 0.141

[26, 600] loss: 0.148

[26, 630] loss: 0.163

[26, 660] loss: 0.144

[26, 690] loss: 0.203

[26, 720] loss: 0.200

[26, 750] loss: 0.181

[26, 780] loss: 0.141

[26, 810] loss: 0.178

[26, 840] loss: 0.161

[26, 870] loss: 0.164

[26, 900] loss: 0.198

[26, 930] loss: 0.175

[26, 960] loss: 0.147

[26, 990] loss: 0.148

[26, 1020] loss: 0.192

[26, 1050] loss: 0.139

[26, 1080] loss: 0.227

[26, 1110] loss: 0.145

[26, 1140] loss: 0.187

[26, 1170] loss: 0.147

[26, 1200] loss: 0.168

[26, 1230] loss: 0.166

[26, 1260] loss: 0.148

[26, 1290] loss: 0.168

[26, 1320] loss: 0.163

[26, 1350] loss: 0.158

[26, 1380] loss: 0.204

[26, 1410] loss: 0.174

[26, 1440] loss: 0.175

[26, 1470] loss: 0.225

[26, 1500] loss: 0.190

[26, 1530] loss: 0.194

[26, 1560] loss: 0.153

[26, 1590] loss: 0.139

[26, 1620] loss: 0.176

[26, 1650] loss: 0.184

[26, 1680] loss: 0.189

[26, 1710] loss: 0.238

[26, 1740] loss: 0.222

[26, 1770] loss: 0.140

[26, 1800] loss: 0.133

[26, 1830] loss: 0.162

[26, 1860] loss: 0.178

[26, 1890] loss: 0.148

[26, 1920] loss: 0.185

[26, 1950] loss: 0.178

[26, 1980] loss: 0.136

[26, 2010] loss: 0.217

[26, 2040] loss: 0.162

[26, 2070] loss: 0.158

[26, 2100] loss: 0.161

[26, 2130] loss: 0.182

[26, 2160] loss: 0.152

[26, 2190] loss: 0.193

ovft_intermediate_models/epoch25_scratch.pt saved.


evaluating on training set...

Accuracy on test images: 0.959333

epoch 25 accuracy on train set is: 0.9593329698291531

evaluating on training set takes 66 seconds.

shallow_train shallow_test scratch_train scratch_test deep_train deep_test

0 NaN NaN 0.277854 0.251999 NaN NaN

1 NaN NaN 0.473737 0.542803 NaN NaN

2 NaN NaN 0.651877 0.724555 NaN NaN

3 NaN NaN 0.742321 0.83197 NaN NaN

4 NaN NaN 0.776081 0.848419 NaN NaN

5 NaN NaN 0.830153 0.892857 NaN NaN

6 NaN NaN 0.839399 0.894039 NaN NaN

7 NaN NaN 0.869706 0.914304 NaN NaN

8 NaN NaN 0.882656 0.925391 NaN NaN

9 NaN NaN 0.903194 0.951018 NaN NaN

10 NaN NaN 0.910305 0.941567 NaN NaN

11 NaN NaN 0.919257 0.959833 NaN NaN

12 NaN NaN 0.923687 0.96365 NaN NaN

13 NaN NaN 0.934115 0.961923 NaN NaN

14 NaN NaN 0.928253 0.96365 NaN NaN

15 NaN NaN 0.936796 0.96574 NaN NaN

16 NaN NaN 0.942794 0.970102 NaN NaN

17 NaN NaN 0.944089 0.969829 NaN NaN

18 NaN NaN 0.94293 0.972465 NaN NaN

19 NaN NaN 0.949041 0.973646 NaN NaN

20 NaN NaN 0.949677 0.973101 NaN NaN

21 NaN NaN 0.935751 0.955107 NaN NaN

22 NaN NaN 0.952449 0.973646 NaN NaN

23 NaN NaN 0.953085 0.97619 NaN NaN

24 NaN NaN 0.958879 0.979916 NaN NaN

25 NaN NaN 0.959333 NaN NaN NaN

26 NaN NaN NaN NaN NaN NaN

27 NaN NaN NaN NaN NaN NaN

28 NaN NaN NaN NaN NaN NaN

29 NaN NaN NaN NaN NaN NaN

30 NaN NaN NaN NaN NaN NaN

31 NaN NaN NaN NaN NaN NaN

32 NaN NaN NaN NaN NaN NaN

33 NaN NaN NaN NaN NaN NaN

34 NaN NaN NaN NaN NaN NaN

35 NaN NaN NaN NaN NaN NaN

36 NaN NaN NaN NaN NaN NaN

37 NaN NaN NaN NaN NaN NaN

38 NaN NaN NaN NaN NaN NaN

39 NaN NaN NaN NaN NaN NaN

evaluating on test set...

Accuracy on test images: 0.980189

epoch 25 accuracy on test set is: 0.980189022173755

evaluating on test set takes 16 seconds.

shallow_train shallow_test scratch_train scratch_test deep_train deep_test

0 NaN NaN 0.277854 0.251999 NaN NaN

1 NaN NaN 0.473737 0.542803 NaN NaN

2 NaN NaN 0.651877 0.724555 NaN NaN

3 NaN NaN 0.742321 0.83197 NaN NaN

4 NaN NaN 0.776081 0.848419 NaN NaN

5 NaN NaN 0.830153 0.892857 NaN NaN

6 NaN NaN 0.839399 0.894039 NaN NaN

7 NaN NaN 0.869706 0.914304 NaN NaN

8 NaN NaN 0.882656 0.925391 NaN NaN

9 NaN NaN 0.903194 0.951018 NaN NaN

10 NaN NaN 0.910305 0.941567 NaN NaN

11 NaN NaN 0.919257 0.959833 NaN NaN

12 NaN NaN 0.923687 0.96365 NaN NaN

13 NaN NaN 0.934115 0.961923 NaN NaN

14 NaN NaN 0.928253 0.96365 NaN NaN

15 NaN NaN 0.936796 0.96574 NaN NaN

16 NaN NaN 0.942794 0.970102 NaN NaN

17 NaN NaN 0.944089 0.969829 NaN NaN

18 NaN NaN 0.94293 0.972465 NaN NaN

19 NaN NaN 0.949041 0.973646 NaN NaN

20 NaN NaN 0.949677 0.973101 NaN NaN

21 NaN NaN 0.935751 0.955107 NaN NaN

22 NaN NaN 0.952449 0.973646 NaN NaN

23 NaN NaN 0.953085 0.97619 NaN NaN

24 NaN NaN 0.958879 0.979916 NaN NaN

25 NaN NaN 0.959333 0.980189 NaN NaN

26 NaN NaN NaN NaN NaN NaN

27 NaN NaN NaN NaN NaN NaN

28 NaN NaN NaN NaN NaN NaN

29 NaN NaN NaN NaN NaN NaN

30 NaN NaN NaN NaN NaN NaN

31 NaN NaN NaN NaN NaN NaN

32 NaN NaN NaN NaN NaN NaN

33 NaN NaN NaN NaN NaN NaN

34 NaN NaN NaN NaN NaN NaN

35 NaN NaN NaN NaN NaN NaN

36 NaN NaN NaN NaN NaN NaN

37 NaN NaN NaN NaN NaN NaN

38 NaN NaN NaN NaN NaN NaN

39 NaN NaN NaN NaN NaN NaN

epoch 25 takes 332 seconds.

[27, 30] loss: 0.152

[27, 60] loss: 0.129

[27, 90] loss: 0.172

[27, 120] loss: 0.161

[27, 150] loss: 0.128

[27, 180] loss: 0.220

[27, 210] loss: 0.139

[27, 240] loss: 0.224

[27, 270] loss: 0.173

[27, 300] loss: 0.135

[27, 330] loss: 0.184

[27, 360] loss: 0.152

[27, 390] loss: 0.160

[27, 420] loss: 0.142

[27, 450] loss: 0.187

[27, 480] loss: 0.174

[27, 510] loss: 0.116

[27, 540] loss: 0.137

[27, 570] loss: 0.181

[27, 600] loss: 0.208

[27, 630] loss: 0.169

[27, 660] loss: 0.155

[27, 690] loss: 0.137

[27, 720] loss: 0.123

[27, 750] loss: 0.170

[27, 780] loss: 0.147

[27, 810] loss: 0.106

[27, 840] loss: 0.127

[27, 870] loss: 0.191

[27, 900] loss: 0.103

[27, 930] loss: 0.139

[27, 960] loss: 0.179

[27, 990] loss: 0.182

[27, 1020] loss: 0.177

[27, 1050] loss: 0.106

[27, 1080] loss: 0.199

[27, 1110] loss: 0.227

[27, 1140] loss: 0.199

[27, 1170] loss: 0.131

[27, 1200] loss: 0.188

[27, 1230] loss: 0.137

[27, 1260] loss: 0.189

[27, 1290] loss: 0.156

[27, 1320] loss: 0.130

[27, 1350] loss: 0.140

[27, 1380] loss: 0.201

[27, 1410] loss: 0.196

[27, 1440] loss: 0.161

[27, 1470] loss: 0.111

[27, 1500] loss: 0.182

[27, 1530] loss: 0.250

[27, 1560] loss: 0.170

[27, 1590] loss: 0.176

[27, 1620] loss: 0.189

[27, 1650] loss: 0.149

[27, 1680] loss: 0.174

[27, 1710] loss: 0.168

[27, 1740] loss: 0.232

[27, 1770] loss: 0.150

[27, 1800] loss: 0.170

[27, 1830] loss: 0.221

[27, 1860] loss: 0.105

[27, 1890] loss: 0.178

[27, 1920] loss: 0.134

[27, 1950] loss: 0.154

[27, 1980] loss: 0.109

[27, 2010] loss: 0.209

[27, 2040] loss: 0.163

[27, 2070] loss: 0.159

[27, 2100] loss: 0.095

[27, 2130] loss: 0.134

[27, 2160] loss: 0.169

[27, 2190] loss: 0.139

ovft_intermediate_models/epoch26_scratch.pt saved.


evaluating on training set...

Accuracy on test images: 0.960492

epoch 26 accuracy on train set is: 0.9604916394038532

evaluating on training set takes 64 seconds.

shallow_train shallow_test scratch_train scratch_test deep_train deep_test

0 NaN NaN 0.277854 0.251999 NaN NaN

1 NaN NaN 0.473737 0.542803 NaN NaN

2 NaN NaN 0.651877 0.724555 NaN NaN

3 NaN NaN 0.742321 0.83197 NaN NaN

4 NaN NaN 0.776081 0.848419 NaN NaN

5 NaN NaN 0.830153 0.892857 NaN NaN

6 NaN NaN 0.839399 0.894039 NaN NaN

7 NaN NaN 0.869706 0.914304 NaN NaN

8 NaN NaN 0.882656 0.925391 NaN NaN

9 NaN NaN 0.903194 0.951018 NaN NaN

10 NaN NaN 0.910305 0.941567 NaN NaN

11 NaN NaN 0.919257 0.959833 NaN NaN

12 NaN NaN 0.923687 0.96365 NaN NaN

13 NaN NaN 0.934115 0.961923 NaN NaN

14 NaN NaN 0.928253 0.96365 NaN NaN

15 NaN NaN 0.936796 0.96574 NaN NaN

16 NaN NaN 0.942794 0.970102 NaN NaN

17 NaN NaN 0.944089 0.969829 NaN NaN

18 NaN NaN 0.94293 0.972465 NaN NaN

19 NaN NaN 0.949041 0.973646 NaN NaN

20 NaN NaN 0.949677 0.973101 NaN NaN

21 NaN NaN 0.935751 0.955107 NaN NaN

22 NaN NaN 0.952449 0.973646 NaN NaN

23 NaN NaN 0.953085 0.97619 NaN NaN

24 NaN NaN 0.958879 0.979916 NaN NaN

25 NaN NaN 0.959333 0.980189 NaN NaN

26 NaN NaN 0.960492 NaN NaN NaN

27 NaN NaN NaN NaN NaN NaN

28 NaN NaN NaN NaN NaN NaN

29 NaN NaN NaN NaN NaN NaN

30 NaN NaN NaN NaN NaN NaN

31 NaN NaN NaN NaN NaN NaN

32 NaN NaN NaN NaN NaN NaN

33 NaN NaN NaN NaN NaN NaN

34 NaN NaN NaN NaN NaN NaN

35 NaN NaN NaN NaN NaN NaN

36 NaN NaN NaN NaN NaN NaN

37 NaN NaN NaN NaN NaN NaN

38 NaN NaN NaN NaN NaN NaN

39 NaN NaN NaN NaN NaN NaN

evaluating on test set...

Accuracy on test images: 0.977463

epoch 26 accuracy on test set is: 0.9774627408215194

evaluating on test set takes 16 seconds.

shallow_train shallow_test scratch_train scratch_test deep_train deep_test

0 NaN NaN 0.277854 0.251999 NaN NaN

1 NaN NaN 0.473737 0.542803 NaN NaN

2 NaN NaN 0.651877 0.724555 NaN NaN

3 NaN NaN 0.742321 0.83197 NaN NaN

4 NaN NaN 0.776081 0.848419 NaN NaN

5 NaN NaN 0.830153 0.892857 NaN NaN

6 NaN NaN 0.839399 0.894039 NaN NaN

7 NaN NaN 0.869706 0.914304 NaN NaN

8 NaN NaN 0.882656 0.925391 NaN NaN

9 NaN NaN 0.903194 0.951018 NaN NaN

10 NaN NaN 0.910305 0.941567 NaN NaN

11 NaN NaN 0.919257 0.959833 NaN NaN

12 NaN NaN 0.923687 0.96365 NaN NaN

13 NaN NaN 0.934115 0.961923 NaN NaN

14 NaN NaN 0.928253 0.96365 NaN NaN

15 NaN NaN 0.936796 0.96574 NaN NaN

16 NaN NaN 0.942794 0.970102 NaN NaN

17 NaN NaN 0.944089 0.969829 NaN NaN

18 NaN NaN 0.94293 0.972465 NaN NaN

19 NaN NaN 0.949041 0.973646 NaN NaN

20 NaN NaN 0.949677 0.973101 NaN NaN

21 NaN NaN 0.935751 0.955107 NaN NaN

22 NaN NaN 0.952449 0.973646 NaN NaN

23 NaN NaN 0.953085 0.97619 NaN NaN

24 NaN NaN 0.958879 0.979916 NaN NaN

25 NaN NaN 0.959333 0.980189 NaN NaN

26 NaN NaN 0.960492 0.977463 NaN NaN

27 NaN NaN NaN NaN NaN NaN

28 NaN NaN NaN NaN NaN NaN

29 NaN NaN NaN NaN NaN NaN

30 NaN NaN NaN NaN NaN NaN

31 NaN NaN NaN NaN NaN NaN

32 NaN NaN NaN NaN NaN NaN

33 NaN NaN NaN NaN NaN NaN

34 NaN NaN NaN NaN NaN NaN

35 NaN NaN NaN NaN NaN NaN

36 NaN NaN NaN NaN NaN NaN

37 NaN NaN NaN NaN NaN NaN

38 NaN NaN NaN NaN NaN NaN

39 NaN NaN NaN NaN NaN NaN

epoch 26 takes 316 seconds.

[28, 30] loss: 0.226

[28, 60] loss: 0.180

[28, 90] loss: 0.119

[28, 120] loss: 0.116

[28, 150] loss: 0.167

[28, 180] loss: 0.130

[28, 210] loss: 0.148

[28, 240] loss: 0.185

[28, 270] loss: 0.138

[28, 300] loss: 0.206

[28, 330] loss: 0.155

[28, 360] loss: 0.140

[28, 390] loss: 0.142

[28, 420] loss: 0.154

[28, 450] loss: 0.164

[28, 480] loss: 0.160

[28, 510] loss: 0.214

[28, 540] loss: 0.236

[28, 570] loss: 0.178

[28, 600] loss: 0.127

[28, 630] loss: 0.155

[28, 660] loss: 0.158

[28, 690] loss: 0.135

[28, 720] loss: 0.163

[28, 750] loss: 0.151

[28, 780] loss: 0.167

[28, 810] loss: 0.131

[28, 840] loss: 0.141

[28, 870] loss: 0.155

[28, 900] loss: 0.161

[28, 930] loss: 0.157

[28, 960] loss: 0.118

[28, 990] loss: 0.169

[28, 1020] loss: 0.208

[28, 1050] loss: 0.134

[28, 1080] loss: 0.173

[28, 1110] loss: 0.172

[28, 1140] loss: 0.173

[28, 1170] loss: 0.228

[28, 1200] loss: 0.149

[28, 1230] loss: 0.175

[28, 1260] loss: 0.196

[28, 1290] loss: 0.191

[28, 1320] loss: 0.153

[28, 1350] loss: 0.120

[28, 1380] loss: 0.176

[28, 1410] loss: 0.149

[28, 1440] loss: 0.174

[28, 1470] loss: 0.215

[28, 1500] loss: 0.122

[28, 1530] loss: 0.147

[28, 1560] loss: 0.159

[28, 1590] loss: 0.183

[28, 1620] loss: 0.220

[28, 1650] loss: 0.205

[28, 1680] loss: 0.140

[28, 1710] loss: 0.161

[28, 1740] loss: 0.123

[28, 1770] loss: 0.132

[28, 1800] loss: 0.147

[28, 1830] loss: 0.143

[28, 1860] loss: 0.181

[28, 1890] loss: 0.152

[28, 1920] loss: 0.153

[28, 1950] loss: 0.146

[28, 1980] loss: 0.134

[28, 2010] loss: 0.171

[28, 2040] loss: 0.195

[28, 2070] loss: 0.144

[28, 2100] loss: 0.164

[28, 2130] loss: 0.172

[28, 2160] loss: 0.142

[28, 2190] loss: 0.174

ovft_intermediate_models/epoch27_scratch.pt saved.


evaluating on training set...

Accuracy on test images: 0.966058

epoch 27 accuracy on train set is: 0.9660577971646674

evaluating on training set takes 64 seconds.

shallow_train shallow_test scratch_train scratch_test deep_train deep_test

0 NaN NaN 0.277854 0.251999 NaN NaN

1 NaN NaN 0.473737 0.542803 NaN NaN

2 NaN NaN 0.651877 0.724555 NaN NaN

3 NaN NaN 0.742321 0.83197 NaN NaN

4 NaN NaN 0.776081 0.848419 NaN NaN

5 NaN NaN 0.830153 0.892857 NaN NaN

6 NaN NaN 0.839399 0.894039 NaN NaN

7 NaN NaN 0.869706 0.914304 NaN NaN

8 NaN NaN 0.882656 0.925391 NaN NaN

9 NaN NaN 0.903194 0.951018 NaN NaN

10 NaN NaN 0.910305 0.941567 NaN NaN

11 NaN NaN 0.919257 0.959833 NaN NaN

12 NaN NaN 0.923687 0.96365 NaN NaN

13 NaN NaN 0.934115 0.961923 NaN NaN

14 NaN NaN 0.928253 0.96365 NaN NaN

15 NaN NaN 0.936796 0.96574 NaN NaN

16 NaN NaN 0.942794 0.970102 NaN NaN

17 NaN NaN 0.944089 0.969829 NaN NaN

18 NaN NaN 0.94293 0.972465 NaN NaN

19 NaN NaN 0.949041 0.973646 NaN NaN

20 NaN NaN 0.949677 0.973101 NaN NaN

21 NaN NaN 0.935751 0.955107 NaN NaN

22 NaN NaN 0.952449 0.973646 NaN NaN

23 NaN NaN 0.953085 0.97619 NaN NaN

24 NaN NaN 0.958879 0.979916 NaN NaN

25 NaN NaN 0.959333 0.980189 NaN NaN

26 NaN NaN 0.960492 0.977463 NaN NaN

27 NaN NaN 0.966058 NaN NaN NaN

28 NaN NaN NaN NaN NaN NaN

29 NaN NaN NaN NaN NaN NaN

30 NaN NaN NaN NaN NaN NaN

31 NaN NaN NaN NaN NaN NaN

32 NaN NaN NaN NaN NaN NaN

33 NaN NaN NaN NaN NaN NaN

34 NaN NaN NaN NaN NaN NaN

35 NaN NaN NaN NaN NaN NaN

36 NaN NaN NaN NaN NaN NaN

37 NaN NaN NaN NaN NaN NaN

38 NaN NaN NaN NaN NaN NaN

39 NaN NaN NaN NaN NaN NaN

evaluating on test set...

Accuracy on test images: 0.984824

epoch 27 accuracy on test set is: 0.9848237004725554

evaluating on test set takes 16 seconds.

shallow_train shallow_test scratch_train scratch_test deep_train deep_test

0 NaN NaN 0.277854 0.251999 NaN NaN

1 NaN NaN 0.473737 0.542803 NaN NaN

2 NaN NaN 0.651877 0.724555 NaN NaN

3 NaN NaN 0.742321 0.83197 NaN NaN

4 NaN NaN 0.776081 0.848419 NaN NaN

5 NaN NaN 0.830153 0.892857 NaN NaN

6 NaN NaN 0.839399 0.894039 NaN NaN

7 NaN NaN 0.869706 0.914304 NaN NaN

8 NaN NaN 0.882656 0.925391 NaN NaN

9 NaN NaN 0.903194 0.951018 NaN NaN

10 NaN NaN 0.910305 0.941567 NaN NaN

11 NaN NaN 0.919257 0.959833 NaN NaN

12 NaN NaN 0.923687 0.96365 NaN NaN

13 NaN NaN 0.934115 0.961923 NaN NaN

14 NaN NaN 0.928253 0.96365 NaN NaN

15 NaN NaN 0.936796 0.96574 NaN NaN

16 NaN NaN 0.942794 0.970102 NaN NaN

17 NaN NaN 0.944089 0.969829 NaN NaN

18 NaN NaN 0.94293 0.972465 NaN NaN

19 NaN NaN 0.949041 0.973646 NaN NaN

20 NaN NaN 0.949677 0.973101 NaN NaN

21 NaN NaN 0.935751 0.955107 NaN NaN

22 NaN NaN 0.952449 0.973646 NaN NaN

23 NaN NaN 0.953085 0.97619 NaN NaN

24 NaN NaN 0.958879 0.979916 NaN NaN

25 NaN NaN 0.959333 0.980189 NaN NaN

26 NaN NaN 0.960492 0.977463 NaN NaN

27 NaN NaN 0.966058 0.984824 NaN NaN

28 NaN NaN NaN NaN NaN NaN

29 NaN NaN NaN NaN NaN NaN

30 NaN NaN NaN NaN NaN NaN

31 NaN NaN NaN NaN NaN NaN

32 NaN NaN NaN NaN NaN NaN

33 NaN NaN NaN NaN NaN NaN

34 NaN NaN NaN NaN NaN NaN

35 NaN NaN NaN NaN NaN NaN

36 NaN NaN NaN NaN NaN NaN

37 NaN NaN NaN NaN NaN NaN

38 NaN NaN NaN NaN NaN NaN

39 NaN NaN NaN NaN NaN NaN

epoch 27 takes 317 seconds.

[29, 30] loss: 0.168

[29, 60] loss: 0.153

[29, 90] loss: 0.160

[29, 120] loss: 0.163

[29, 150] loss: 0.168

[29, 180] loss: 0.139

[29, 210] loss: 0.148

[29, 240] loss: 0.150

[29, 270] loss: 0.140

[29, 300] loss: 0.115

[29, 330] loss: 0.176

[29, 360] loss: 0.145

[29, 390] loss: 0.168

[29, 420] loss: 0.192

[29, 450] loss: 0.181

[29, 480] loss: 0.154

[29, 510] loss: 0.150

[29, 540] loss: 0.122

[29, 570] loss: 0.149

[29, 600] loss: 0.208

[29, 630] loss: 0.126

[29, 660] loss: 0.170

[29, 690] loss: 0.179

[29, 720] loss: 0.162

[29, 750] loss: 0.127

[29, 780] loss: 0.130

[29, 810] loss: 0.142

[29, 840] loss: 0.181

[29, 870] loss: 0.195

[29, 900] loss: 0.124

[29, 930] loss: 0.150

[29, 960] loss: 0.167

[29, 990] loss: 0.120

[29, 1020] loss: 0.189

[29, 1050] loss: 0.159

[29, 1080] loss: 0.111

[29, 1110] loss: 0.153

[29, 1140] loss: 0.161

[29, 1170] loss: 0.186

[29, 1200] loss: 0.131

[29, 1230] loss: 0.161

[29, 1260] loss: 0.142

[29, 1290] loss: 0.180

[29, 1320] loss: 0.118

[29, 1350] loss: 0.125

[29, 1380] loss: 0.149

[29, 1410] loss: 0.128

[29, 1440] loss: 0.128

[29, 1470] loss: 0.132

[29, 1500] loss: 0.180

[29, 1530] loss: 0.159

[29, 1560] loss: 0.186

[29, 1590] loss: 0.142

[29, 1620] loss: 0.163

[29, 1650] loss: 0.109

[29, 1680] loss: 0.163

[29, 1710] loss: 0.164

[29, 1740] loss: 0.184

[29, 1770] loss: 0.114

[29, 1800] loss: 0.140

[29, 1830] loss: 0.149

[29, 1860] loss: 0.212

[29, 1890] loss: 0.188

[29, 1920] loss: 0.150

[29, 1950] loss: 0.124

[29, 1980] loss: 0.149

[29, 2010] loss: 0.140

[29, 2040] loss: 0.164

[29, 2070] loss: 0.207

[29, 2100] loss: 0.137

[29, 2130] loss: 0.133

[29, 2160] loss: 0.151

[29, 2190] loss: 0.158

ovft_intermediate_models/epoch28_scratch.pt saved.


evaluating on training set...

Accuracy on test images: 0.957425

epoch 28 accuracy on train set is: 0.9574245728825882

evaluating on training set takes 64 seconds.

shallow_train shallow_test scratch_train scratch_test deep_train deep_test

0 NaN NaN 0.277854 0.251999 NaN NaN

1 NaN NaN 0.473737 0.542803 NaN NaN

2 NaN NaN 0.651877 0.724555 NaN NaN

3 NaN NaN 0.742321 0.83197 NaN NaN

4 NaN NaN 0.776081 0.848419 NaN NaN

5 NaN NaN 0.830153 0.892857 NaN NaN

6 NaN NaN 0.839399 0.894039 NaN NaN

7 NaN NaN 0.869706 0.914304 NaN NaN

8 NaN NaN 0.882656 0.925391 NaN NaN

9 NaN NaN 0.903194 0.951018 NaN NaN

10 NaN NaN 0.910305 0.941567 NaN NaN

11 NaN NaN 0.919257 0.959833 NaN NaN

12 NaN NaN 0.923687 0.96365 NaN NaN

13 NaN NaN 0.934115 0.961923 NaN NaN

14 NaN NaN 0.928253 0.96365 NaN NaN

15 NaN NaN 0.936796 0.96574 NaN NaN

16 NaN NaN 0.942794 0.970102 NaN NaN

17 NaN NaN 0.944089 0.969829 NaN NaN

18 NaN NaN 0.94293 0.972465 NaN NaN

19 NaN NaN 0.949041 0.973646 NaN NaN

20 NaN NaN 0.949677 0.973101 NaN NaN

21 NaN NaN 0.935751 0.955107 NaN NaN

22 NaN NaN 0.952449 0.973646 NaN NaN

23 NaN NaN 0.953085 0.97619 NaN NaN

24 NaN NaN 0.958879 0.979916 NaN NaN

25 NaN NaN 0.959333 0.980189 NaN NaN

26 NaN NaN 0.960492 0.977463 NaN NaN

27 NaN NaN 0.966058 0.984824 NaN NaN

28 NaN NaN 0.957425 NaN NaN NaN

29 NaN NaN NaN NaN NaN NaN

30 NaN NaN NaN NaN NaN NaN

31 NaN NaN NaN NaN NaN NaN

32 NaN NaN NaN NaN NaN NaN

33 NaN NaN NaN NaN NaN NaN

34 NaN NaN NaN NaN NaN NaN

35 NaN NaN NaN NaN NaN NaN

36 NaN NaN NaN NaN NaN NaN

37 NaN NaN NaN NaN NaN NaN

38 NaN NaN NaN NaN NaN NaN

39 NaN NaN NaN NaN NaN NaN

evaluating on test set...

Accuracy on test images: 0.976372

epoch 28 accuracy on test set is: 0.9763722282806252

evaluating on test set takes 16 seconds.

shallow_train shallow_test scratch_train scratch_test deep_train deep_test

0 NaN NaN 0.277854 0.251999 NaN NaN

1 NaN NaN 0.473737 0.542803 NaN NaN

2 NaN NaN 0.651877 0.724555 NaN NaN

3 NaN NaN 0.742321 0.83197 NaN NaN

4 NaN NaN 0.776081 0.848419 NaN NaN

5 NaN NaN 0.830153 0.892857 NaN NaN

6 NaN NaN 0.839399 0.894039 NaN NaN

7 NaN NaN 0.869706 0.914304 NaN NaN

8 NaN NaN 0.882656 0.925391 NaN NaN

9 NaN NaN 0.903194 0.951018 NaN NaN

10 NaN NaN 0.910305 0.941567 NaN NaN

11 NaN NaN 0.919257 0.959833 NaN NaN

12 NaN NaN 0.923687 0.96365 NaN NaN

13 NaN NaN 0.934115 0.961923 NaN NaN

14 NaN NaN 0.928253 0.96365 NaN NaN

15 NaN NaN 0.936796 0.96574 NaN NaN

16 NaN NaN 0.942794 0.970102 NaN NaN

17 NaN NaN 0.944089 0.969829 NaN NaN

18 NaN NaN 0.94293 0.972465 NaN NaN

19 NaN NaN 0.949041 0.973646 NaN NaN

20 NaN NaN 0.949677 0.973101 NaN NaN

21 NaN NaN 0.935751 0.955107 NaN NaN

22 NaN NaN 0.952449 0.973646 NaN NaN

23 NaN NaN 0.953085 0.97619 NaN NaN

24 NaN NaN 0.958879 0.979916 NaN NaN

25 NaN NaN 0.959333 0.980189 NaN NaN

26 NaN NaN 0.960492 0.977463 NaN NaN

27 NaN NaN 0.966058 0.984824 NaN NaN

28 NaN NaN 0.957425 0.976372 NaN NaN

29 NaN NaN NaN NaN NaN NaN

30 NaN NaN NaN NaN NaN NaN

31 NaN NaN NaN NaN NaN NaN

32 NaN NaN NaN NaN NaN NaN

33 NaN NaN NaN NaN NaN NaN

34 NaN NaN NaN NaN NaN NaN

35 NaN NaN NaN NaN NaN NaN

36 NaN NaN NaN NaN NaN NaN

37 NaN NaN NaN NaN NaN NaN

38 NaN NaN NaN NaN NaN NaN

39 NaN NaN NaN NaN NaN NaN

epoch 28 takes 322 seconds.

[30, 30] loss: 0.166

[30, 60] loss: 0.209

[30, 90] loss: 0.201

[30, 120] loss: 0.110

[30, 150] loss: 0.130

[30, 180] loss: 0.128

[30, 210] loss: 0.145

[30, 240] loss: 0.139

[30, 270] loss: 0.133

[30, 300] loss: 0.148

[30, 330] loss: 0.169

[30, 360] loss: 0.126

[30, 390] loss: 0.149

[30, 420] loss: 0.149

[30, 450] loss: 0.200

[30, 480] loss: 0.200

[30, 510] loss: 0.124

[30, 540] loss: 0.224

[30, 570] loss: 0.083

[30, 600] loss: 0.148

[30, 630] loss: 0.148

[30, 660] loss: 0.227

[30, 690] loss: 0.141

[30, 720] loss: 0.153

[30, 750] loss: 0.167

[30, 780] loss: 0.104

[30, 810] loss: 0.154

[30, 840] loss: 0.120

[30, 870] loss: 0.158

[30, 900] loss: 0.188

[30, 930] loss: 0.143

[30, 960] loss: 0.141

[30, 990] loss: 0.122

[30, 1020] loss: 0.120

[30, 1050] loss: 0.120

[30, 1080] loss: 0.117

[30, 1110] loss: 0.208

[30, 1140] loss: 0.131

[30, 1170] loss: 0.135

[30, 1200] loss: 0.152

[30, 1230] loss: 0.165

[30, 1260] loss: 0.135

[30, 1290] loss: 0.205

[30, 1320] loss: 0.198

[30, 1350] loss: 0.175

[30, 1380] loss: 0.154

[30, 1410] loss: 0.135

[30, 1440] loss: 0.095

[30, 1470] loss: 0.121

[30, 1500] loss: 0.145

[30, 1530] loss: 0.168

[30, 1560] loss: 0.148

[30, 1590] loss: 0.162

[30, 1620] loss: 0.142

[30, 1650] loss: 0.151

[30, 1680] loss: 0.123

[30, 1710] loss: 0.129

[30, 1740] loss: 0.177

[30, 1770] loss: 0.116

[30, 1800] loss: 0.157

[30, 1830] loss: 0.121

[30, 1860] loss: 0.147

[30, 1890] loss: 0.155

[30, 1920] loss: 0.146

[30, 1950] loss: 0.163

[30, 1980] loss: 0.178

[30, 2010] loss: 0.091

[30, 2040] loss: 0.137

[30, 2070] loss: 0.150

[30, 2100] loss: 0.150

[30, 2130] loss: 0.141

[30, 2160] loss: 0.182

[30, 2190] loss: 0.125

ovft_intermediate_models/epoch29_scratch.pt saved.


evaluating on training set...

Accuracy on test images: 0.959606

epoch 29 accuracy on train set is: 0.9596055979643766

evaluating on training set takes 64 seconds.

shallow_train shallow_test scratch_train scratch_test deep_train deep_test

0 NaN NaN 0.277854 0.251999 NaN NaN

1 NaN NaN 0.473737 0.542803 NaN NaN

2 NaN NaN 0.651877 0.724555 NaN NaN

3 NaN NaN 0.742321 0.83197 NaN NaN

4 NaN NaN 0.776081 0.848419 NaN NaN

5 NaN NaN 0.830153 0.892857 NaN NaN

6 NaN NaN 0.839399 0.894039 NaN NaN

7 NaN NaN 0.869706 0.914304 NaN NaN

8 NaN NaN 0.882656 0.925391 NaN NaN

9 NaN NaN 0.903194 0.951018 NaN NaN

10 NaN NaN 0.910305 0.941567 NaN NaN

11 NaN NaN 0.919257 0.959833 NaN NaN

12 NaN NaN 0.923687 0.96365 NaN NaN

13 NaN NaN 0.934115 0.961923 NaN NaN

14 NaN NaN 0.928253 0.96365 NaN NaN

15 NaN NaN 0.936796 0.96574 NaN NaN

16 NaN NaN 0.942794 0.970102 NaN NaN

17 NaN NaN 0.944089 0.969829 NaN NaN

18 NaN NaN 0.94293 0.972465 NaN NaN

19 NaN NaN 0.949041 0.973646 NaN NaN

20 NaN NaN 0.949677 0.973101 NaN NaN

21 NaN NaN 0.935751 0.955107 NaN NaN

22 NaN NaN 0.952449 0.973646 NaN NaN

23 NaN NaN 0.953085 0.97619 NaN NaN

24 NaN NaN 0.958879 0.979916 NaN NaN

25 NaN NaN 0.959333 0.980189 NaN NaN

26 NaN NaN 0.960492 0.977463 NaN NaN

27 NaN NaN 0.966058 0.984824 NaN NaN

28 NaN NaN 0.957425 0.976372 NaN NaN

29 NaN NaN 0.959606 NaN NaN NaN

30 NaN NaN NaN NaN NaN NaN

31 NaN NaN NaN NaN NaN NaN

32 NaN NaN NaN NaN NaN NaN

33 NaN NaN NaN NaN NaN NaN

34 NaN NaN NaN NaN NaN NaN

35 NaN NaN NaN NaN NaN NaN

36 NaN NaN NaN NaN NaN NaN

37 NaN NaN NaN NaN NaN NaN

38 NaN NaN NaN NaN NaN NaN

39 NaN NaN NaN NaN NaN NaN

evaluating on test set...

Accuracy on test images: 0.976009

epoch 29 accuracy on test set is: 0.9760087241003271

evaluating on test set takes 16 seconds.

shallow_train shallow_test scratch_train scratch_test deep_train deep_test

0 NaN NaN 0.277854 0.251999 NaN NaN

1 NaN NaN 0.473737 0.542803 NaN NaN

2 NaN NaN 0.651877 0.724555 NaN NaN

3 NaN NaN 0.742321 0.83197 NaN NaN

4 NaN NaN 0.776081 0.848419 NaN NaN

5 NaN NaN 0.830153 0.892857 NaN NaN

6 NaN NaN 0.839399 0.894039 NaN NaN

7 NaN NaN 0.869706 0.914304 NaN NaN

8 NaN NaN 0.882656 0.925391 NaN NaN

9 NaN NaN 0.903194 0.951018 NaN NaN

10 NaN NaN 0.910305 0.941567 NaN NaN

11 NaN NaN 0.919257 0.959833 NaN NaN

12 NaN NaN 0.923687 0.96365 NaN NaN

13 NaN NaN 0.934115 0.961923 NaN NaN

14 NaN NaN 0.928253 0.96365 NaN NaN

15 NaN NaN 0.936796 0.96574 NaN NaN

16 NaN NaN 0.942794 0.970102 NaN NaN

17 NaN NaN 0.944089 0.969829 NaN NaN

18 NaN NaN 0.94293 0.972465 NaN NaN

19 NaN NaN 0.949041 0.973646 NaN NaN

20 NaN NaN 0.949677 0.973101 NaN NaN

21 NaN NaN 0.935751 0.955107 NaN NaN

22 NaN NaN 0.952449 0.973646 NaN NaN

23 NaN NaN 0.953085 0.97619 NaN NaN

24 NaN NaN 0.958879 0.979916 NaN NaN

25 NaN NaN 0.959333 0.980189 NaN NaN

26 NaN NaN 0.960492 0.977463 NaN NaN

27 NaN NaN 0.966058 0.984824 NaN NaN

28 NaN NaN 0.957425 0.976372 NaN NaN

29 NaN NaN 0.959606 0.976009 NaN NaN

30 NaN NaN NaN NaN NaN NaN

31 NaN NaN NaN NaN NaN NaN

32 NaN NaN NaN NaN NaN NaN

33 NaN NaN NaN NaN NaN NaN

34 NaN NaN NaN NaN NaN NaN

35 NaN NaN NaN NaN NaN NaN

36 NaN NaN NaN NaN NaN NaN

37 NaN NaN NaN NaN NaN NaN

38 NaN NaN NaN NaN NaN NaN

39 NaN NaN NaN NaN NaN NaN

epoch 29 takes 322 seconds.

[31, 30] loss: 0.145

[31, 60] loss: 0.129

[31, 90] loss: 0.148

[31, 120] loss: 0.148

[31, 150] loss: 0.140

[31, 180] loss: 0.189

[31, 210] loss: 0.152

[31, 240] loss: 0.138

[31, 270] loss: 0.163

[31, 300] loss: 0.154

[31, 330] loss: 0.164

[31, 360] loss: 0.185

[31, 390] loss: 0.146

[31, 420] loss: 0.162

[31, 450] loss: 0.122

[31, 480] loss: 0.144

[31, 510] loss: 0.146

[31, 540] loss: 0.121

[31, 570] loss: 0.132

[31, 600] loss: 0.125

[31, 630] loss: 0.144

[31, 660] loss: 0.122

[31, 690] loss: 0.137

[31, 720] loss: 0.153

[31, 750] loss: 0.128

[31, 780] loss: 0.180

[31, 810] loss: 0.153

[31, 840] loss: 0.130

[31, 870] loss: 0.147

[31, 900] loss: 0.146

[31, 930] loss: 0.176

[31, 960] loss: 0.149

[31, 990] loss: 0.139

[31, 1020] loss: 0.114

[31, 1050] loss: 0.135

[31, 1080] loss: 0.143

[31, 1110] loss: 0.190

[31, 1140] loss: 0.146

[31, 1170] loss: 0.153

[31, 1200] loss: 0.120

[31, 1230] loss: 0.172

[31, 1260] loss: 0.174

[31, 1290] loss: 0.140

[31, 1320] loss: 0.161

[31, 1350] loss: 0.142

[31, 1380] loss: 0.145

[31, 1410] loss: 0.146

[31, 1440] loss: 0.165

[31, 1470] loss: 0.136

[31, 1500] loss: 0.153

[31, 1530] loss: 0.181

[31, 1560] loss: 0.192

[31, 1590] loss: 0.184

[31, 1620] loss: 0.176

[31, 1650] loss: 0.169

[31, 1680] loss: 0.194

[31, 1710] loss: 0.148

[31, 1740] loss: 0.156

[31, 1770] loss: 0.183

[31, 1800] loss: 0.124

[31, 1830] loss: 0.146

[31, 1860] loss: 0.133

[31, 1890] loss: 0.149

[31, 1920] loss: 0.144

[31, 1950] loss: 0.141

[31, 1980] loss: 0.125

[31, 2010] loss: 0.123

[31, 2040] loss: 0.106

[31, 2070] loss: 0.142

[31, 2100] loss: 0.173

[31, 2130] loss: 0.148

[31, 2160] loss: 0.174

[31, 2190] loss: 0.142

ovft_intermediate_models/epoch30_scratch.pt saved.


evaluating on training set...

Accuracy on test images: 0.964195

epoch 30 accuracy on train set is: 0.9641948382406398

evaluating on training set takes 66 seconds.

shallow_train shallow_test scratch_train scratch_test deep_train deep_test

0 NaN NaN 0.277854 0.251999 NaN NaN

1 NaN NaN 0.473737 0.542803 NaN NaN

2 NaN NaN 0.651877 0.724555 NaN NaN

3 NaN NaN 0.742321 0.83197 NaN NaN

4 NaN NaN 0.776081 0.848419 NaN NaN

5 NaN NaN 0.830153 0.892857 NaN NaN

6 NaN NaN 0.839399 0.894039 NaN NaN

7 NaN NaN 0.869706 0.914304 NaN NaN

8 NaN NaN 0.882656 0.925391 NaN NaN

9 NaN NaN 0.903194 0.951018 NaN NaN

10 NaN NaN 0.910305 0.941567 NaN NaN

11 NaN NaN 0.919257 0.959833 NaN NaN

12 NaN NaN 0.923687 0.96365 NaN NaN

13 NaN NaN 0.934115 0.961923 NaN NaN

14 NaN NaN 0.928253 0.96365 NaN NaN

15 NaN NaN 0.936796 0.96574 NaN NaN

16 NaN NaN 0.942794 0.970102 NaN NaN

17 NaN NaN 0.944089 0.969829 NaN NaN

18 NaN NaN 0.94293 0.972465 NaN NaN

19 NaN NaN 0.949041 0.973646 NaN NaN

20 NaN NaN 0.949677 0.973101 NaN NaN

21 NaN NaN 0.935751 0.955107 NaN NaN

22 NaN NaN 0.952449 0.973646 NaN NaN

23 NaN NaN 0.953085 0.97619 NaN NaN

24 NaN NaN 0.958879 0.979916 NaN NaN

25 NaN NaN 0.959333 0.980189 NaN NaN

26 NaN NaN 0.960492 0.977463 NaN NaN

27 NaN NaN 0.966058 0.984824 NaN NaN

28 NaN NaN 0.957425 0.976372 NaN NaN

29 NaN NaN 0.959606 0.976009 NaN NaN

30 NaN NaN 0.964195 NaN NaN NaN

31 NaN NaN NaN NaN NaN NaN

32 NaN NaN NaN NaN NaN NaN

33 NaN NaN NaN NaN NaN NaN

34 NaN NaN NaN NaN NaN NaN

35 NaN NaN NaN NaN NaN NaN

36 NaN NaN NaN NaN NaN NaN

37 NaN NaN NaN NaN NaN NaN

38 NaN NaN NaN NaN NaN NaN

39 NaN NaN NaN NaN NaN NaN

evaluating on test set...

Accuracy on test images: 0.985642

epoch 30 accuracy on test set is: 0.9856415848782261

evaluating on test set takes 16 seconds.

shallow_train shallow_test scratch_train scratch_test deep_train deep_test

0 NaN NaN 0.277854 0.251999 NaN NaN

1 NaN NaN 0.473737 0.542803 NaN NaN

2 NaN NaN 0.651877 0.724555 NaN NaN

3 NaN NaN 0.742321 0.83197 NaN NaN

4 NaN NaN 0.776081 0.848419 NaN NaN

5 NaN NaN 0.830153 0.892857 NaN NaN

6 NaN NaN 0.839399 0.894039 NaN NaN

7 NaN NaN 0.869706 0.914304 NaN NaN

8 NaN NaN 0.882656 0.925391 NaN NaN

9 NaN NaN 0.903194 0.951018 NaN NaN

10 NaN NaN 0.910305 0.941567 NaN NaN

11 NaN NaN 0.919257 0.959833 NaN NaN

12 NaN NaN 0.923687 0.96365 NaN NaN

13 NaN NaN 0.934115 0.961923 NaN NaN

14 NaN NaN 0.928253 0.96365 NaN NaN

15 NaN NaN 0.936796 0.96574 NaN NaN

16 NaN NaN 0.942794 0.970102 NaN NaN

17 NaN NaN 0.944089 0.969829 NaN NaN

18 NaN NaN 0.94293 0.972465 NaN NaN

19 NaN NaN 0.949041 0.973646 NaN NaN

20 NaN NaN 0.949677 0.973101 NaN NaN

21 NaN NaN 0.935751 0.955107 NaN NaN

22 NaN NaN 0.952449 0.973646 NaN NaN

23 NaN NaN 0.953085 0.97619 NaN NaN

24 NaN NaN 0.958879 0.979916 NaN NaN

25 NaN NaN 0.959333 0.980189 NaN NaN

26 NaN NaN 0.960492 0.977463 NaN NaN

27 NaN NaN 0.966058 0.984824 NaN NaN

28 NaN NaN 0.957425 0.976372 NaN NaN

29 NaN NaN 0.959606 0.976009 NaN NaN

30 NaN NaN 0.964195 0.985642 NaN NaN

31 NaN NaN NaN NaN NaN NaN

32 NaN NaN NaN NaN NaN NaN

33 NaN NaN NaN NaN NaN NaN

34 NaN NaN NaN NaN NaN NaN

35 NaN NaN NaN NaN NaN NaN

36 NaN NaN NaN NaN NaN NaN

37 NaN NaN NaN NaN NaN NaN

38 NaN NaN NaN NaN NaN NaN

39 NaN NaN NaN NaN NaN NaN

epoch 30 takes 321 seconds.

[32, 30] loss: 0.120

[32, 60] loss: 0.161

[32, 90] loss: 0.150

[32, 120] loss: 0.172

[32, 150] loss: 0.114

[32, 180] loss: 0.104

[32, 210] loss: 0.130

[32, 240] loss: 0.126

[32, 270] loss: 0.117

[32, 300] loss: 0.136

[32, 330] loss: 0.170

[32, 360] loss: 0.135

[32, 390] loss: 0.155

[32, 420] loss: 0.179

[32, 450] loss: 0.139

[32, 480] loss: 0.171

[32, 510] loss: 0.172

[32, 540] loss: 0.130

[32, 570] loss: 0.135

[32, 600] loss: 0.082

[32, 630] loss: 0.141

[32, 660] loss: 0.140

[32, 690] loss: 0.165

[32, 720] loss: 0.140

[32, 750] loss: 0.149

[32, 780] loss: 0.096

[32, 810] loss: 0.149

[32, 840] loss: 0.183

[32, 870] loss: 0.157

[32, 900] loss: 0.152

[32, 930] loss: 0.142

[32, 960] loss: 0.190

[32, 990] loss: 0.158

[32, 1020] loss: 0.166

[32, 1050] loss: 0.127

[32, 1080] loss: 0.157

[32, 1110] loss: 0.155

[32, 1140] loss: 0.119

[32, 1170] loss: 0.135

[32, 1200] loss: 0.119

[32, 1230] loss: 0.162

[32, 1260] loss: 0.126

[32, 1290] loss: 0.125

[32, 1320] loss: 0.137

[32, 1350] loss: 0.119

[32, 1380] loss: 0.128

[32, 1410] loss: 0.154

[32, 1440] loss: 0.116

[32, 1470] loss: 0.157

[32, 1500] loss: 0.140

[32, 1530] loss: 0.108

[32, 1560] loss: 0.134

[32, 1590] loss: 0.162

[32, 1620] loss: 0.153

[32, 1650] loss: 0.173

[32, 1680] loss: 0.141

[32, 1710] loss: 0.172

[32, 1740] loss: 0.188

[32, 1770] loss: 0.125

[32, 1800] loss: 0.165

[32, 1830] loss: 0.169

[32, 1860] loss: 0.184

[32, 1890] loss: 0.173

[32, 1920] loss: 0.133

[32, 1950] loss: 0.172

[32, 1980] loss: 0.153

[32, 2010] loss: 0.156

[32, 2040] loss: 0.151

[32, 2070] loss: 0.143

[32, 2100] loss: 0.097

[32, 2130] loss: 0.113

[32, 2160] loss: 0.134

[32, 2190] loss: 0.131

ovft_intermediate_models/epoch31_scratch.pt saved.


evaluating on training set...

Accuracy on test images: 0.964626

epoch 31 accuracy on train set is: 0.9646264994547438

evaluating on training set takes 67 seconds.

shallow_train shallow_test scratch_train scratch_test deep_train deep_test

0 NaN NaN 0.277854 0.251999 NaN NaN

1 NaN NaN 0.473737 0.542803 NaN NaN

2 NaN NaN 0.651877 0.724555 NaN NaN

3 NaN NaN 0.742321 0.83197 NaN NaN

4 NaN NaN 0.776081 0.848419 NaN NaN

5 NaN NaN 0.830153 0.892857 NaN NaN

6 NaN NaN 0.839399 0.894039 NaN NaN

7 NaN NaN 0.869706 0.914304 NaN NaN

8 NaN NaN 0.882656 0.925391 NaN NaN

9 NaN NaN 0.903194 0.951018 NaN NaN

10 NaN NaN 0.910305 0.941567 NaN NaN

11 NaN NaN 0.919257 0.959833 NaN NaN

12 NaN NaN 0.923687 0.96365 NaN NaN

13 NaN NaN 0.934115 0.961923 NaN NaN

14 NaN NaN 0.928253 0.96365 NaN NaN

15 NaN NaN 0.936796 0.96574 NaN NaN

16 NaN NaN 0.942794 0.970102 NaN NaN

17 NaN NaN 0.944089 0.969829 NaN NaN

18 NaN NaN 0.94293 0.972465 NaN NaN

19 NaN NaN 0.949041 0.973646 NaN NaN

20 NaN NaN 0.949677 0.973101 NaN NaN

21 NaN NaN 0.935751 0.955107 NaN NaN

22 NaN NaN 0.952449 0.973646 NaN NaN

23 NaN NaN 0.953085 0.97619 NaN NaN

24 NaN NaN 0.958879 0.979916 NaN NaN

25 NaN NaN 0.959333 0.980189 NaN NaN

26 NaN NaN 0.960492 0.977463 NaN NaN

27 NaN NaN 0.966058 0.984824 NaN NaN

28 NaN NaN 0.957425 0.976372 NaN NaN

29 NaN NaN 0.959606 0.976009 NaN NaN

30 NaN NaN 0.964195 0.985642 NaN NaN

31 NaN NaN 0.964626 NaN NaN NaN

32 NaN NaN NaN NaN NaN NaN

33 NaN NaN NaN NaN NaN NaN

34 NaN NaN NaN NaN NaN NaN

35 NaN NaN NaN NaN NaN NaN

36 NaN NaN NaN NaN NaN NaN

37 NaN NaN NaN NaN NaN NaN

38 NaN NaN NaN NaN NaN NaN

39 NaN NaN NaN NaN NaN NaN

evaluating on test set...

Accuracy on test images: 0.985551

epoch 31 accuracy on test set is: 0.9855507088331515

evaluating on test set takes 16 seconds.

shallow_train shallow_test scratch_train scratch_test deep_train deep_test

0 NaN NaN 0.277854 0.251999 NaN NaN

1 NaN NaN 0.473737 0.542803 NaN NaN

2 NaN NaN 0.651877 0.724555 NaN NaN

3 NaN NaN 0.742321 0.83197 NaN NaN

4 NaN NaN 0.776081 0.848419 NaN NaN

5 NaN NaN 0.830153 0.892857 NaN NaN

6 NaN NaN 0.839399 0.894039 NaN NaN

7 NaN NaN 0.869706 0.914304 NaN NaN

8 NaN NaN 0.882656 0.925391 NaN NaN

9 NaN NaN 0.903194 0.951018 NaN NaN

10 NaN NaN 0.910305 0.941567 NaN NaN

11 NaN NaN 0.919257 0.959833 NaN NaN

12 NaN NaN 0.923687 0.96365 NaN NaN

13 NaN NaN 0.934115 0.961923 NaN NaN

14 NaN NaN 0.928253 0.96365 NaN NaN

15 NaN NaN 0.936796 0.96574 NaN NaN

16 NaN NaN 0.942794 0.970102 NaN NaN

17 NaN NaN 0.944089 0.969829 NaN NaN

18 NaN NaN 0.94293 0.972465 NaN NaN

19 NaN NaN 0.949041 0.973646 NaN NaN

20 NaN NaN 0.949677 0.973101 NaN NaN

21 NaN NaN 0.935751 0.955107 NaN NaN

22 NaN NaN 0.952449 0.973646 NaN NaN

23 NaN NaN 0.953085 0.97619 NaN NaN

24 NaN NaN 0.958879 0.979916 NaN NaN

25 NaN NaN 0.959333 0.980189 NaN NaN

26 NaN NaN 0.960492 0.977463 NaN NaN

27 NaN NaN 0.966058 0.984824 NaN NaN

28 NaN NaN 0.957425 0.976372 NaN NaN

29 NaN NaN 0.959606 0.976009 NaN NaN

30 NaN NaN 0.964195 0.985642 NaN NaN

31 NaN NaN 0.964626 0.985551 NaN NaN

32 NaN NaN NaN NaN NaN NaN

33 NaN NaN NaN NaN NaN NaN

34 NaN NaN NaN NaN NaN NaN

35 NaN NaN NaN NaN NaN NaN

36 NaN NaN NaN NaN NaN NaN

37 NaN NaN NaN NaN NaN NaN

38 NaN NaN NaN NaN NaN NaN

39 NaN NaN NaN NaN NaN NaN

epoch 31 takes 330 seconds.

[33, 30] loss: 0.141

[33, 60] loss: 0.126

[33, 90] loss: 0.120

[33, 120] loss: 0.180

[33, 150] loss: 0.109

[33, 180] loss: 0.127

[33, 210] loss: 0.136

[33, 240] loss: 0.098

[33, 270] loss: 0.197

[33, 300] loss: 0.175

[33, 330] loss: 0.174

[33, 360] loss: 0.163

[33, 390] loss: 0.106

[33, 420] loss: 0.118

[33, 450] loss: 0.123

[33, 480] loss: 0.149

[33, 510] loss: 0.128

[33, 540] loss: 0.172

[33, 570] loss: 0.127

[33, 600] loss: 0.167

[33, 630] loss: 0.180

[33, 660] loss: 0.149

[33, 690] loss: 0.114

[33, 720] loss: 0.132

[33, 750] loss: 0.129

[33, 780] loss: 0.171

[33, 810] loss: 0.130

[33, 840] loss: 0.126

[33, 870] loss: 0.103

[33, 900] loss: 0.137

[33, 930] loss: 0.200

[33, 960] loss: 0.139

[33, 990] loss: 0.140

[33, 1020] loss: 0.103

[33, 1050] loss: 0.172

[33, 1080] loss: 0.147

[33, 1110] loss: 0.166

[33, 1140] loss: 0.146

[33, 1170] loss: 0.149

[33, 1200] loss: 0.135

[33, 1230] loss: 0.087

[33, 1260] loss: 0.183

[33, 1290] loss: 0.113

[33, 1320] loss: 0.126

[33, 1350] loss: 0.154

[33, 1380] loss: 0.190

[33, 1410] loss: 0.156

[33, 1440] loss: 0.154

[33, 1470] loss: 0.144

[33, 1500] loss: 0.117

[33, 1530] loss: 0.145

[33, 1560] loss: 0.122

[33, 1590] loss: 0.149

[33, 1620] loss: 0.157

[33, 1650] loss: 0.115

[33, 1680] loss: 0.159

[33, 1710] loss: 0.144

[33, 1740] loss: 0.112

[33, 1770] loss: 0.115

[33, 1800] loss: 0.107

[33, 1830] loss: 0.143

[33, 1860] loss: 0.227

[33, 1890] loss: 0.148

[33, 1920] loss: 0.165

[33, 1950] loss: 0.180

[33, 1980] loss: 0.159

[33, 2010] loss: 0.144

[33, 2040] loss: 0.184

[33, 2070] loss: 0.105

[33, 2100] loss: 0.101

[33, 2130] loss: 0.105

[33, 2160] loss: 0.152

[33, 2190] loss: 0.157

ovft_intermediate_models/epoch32_scratch.pt saved.


evaluating on training set...

Accuracy on test images: 0.964240

epoch 32 accuracy on train set is: 0.964240276263177

evaluating on training set takes 64 seconds.

shallow_train shallow_test scratch_train scratch_test deep_train deep_test

0 NaN NaN 0.277854 0.251999 NaN NaN

1 NaN NaN 0.473737 0.542803 NaN NaN

2 NaN NaN 0.651877 0.724555 NaN NaN

3 NaN NaN 0.742321 0.83197 NaN NaN

4 NaN NaN 0.776081 0.848419 NaN NaN

5 NaN NaN 0.830153 0.892857 NaN NaN

6 NaN NaN 0.839399 0.894039 NaN NaN

7 NaN NaN 0.869706 0.914304 NaN NaN

8 NaN NaN 0.882656 0.925391 NaN NaN

9 NaN NaN 0.903194 0.951018 NaN NaN

10 NaN NaN 0.910305 0.941567 NaN NaN

11 NaN NaN 0.919257 0.959833 NaN NaN

12 NaN NaN 0.923687 0.96365 NaN NaN

13 NaN NaN 0.934115 0.961923 NaN NaN

14 NaN NaN 0.928253 0.96365 NaN NaN

15 NaN NaN 0.936796 0.96574 NaN NaN

16 NaN NaN 0.942794 0.970102 NaN NaN

17 NaN NaN 0.944089 0.969829 NaN NaN

18 NaN NaN 0.94293 0.972465 NaN NaN

19 NaN NaN 0.949041 0.973646 NaN NaN

20 NaN NaN 0.949677 0.973101 NaN NaN

21 NaN NaN 0.935751 0.955107 NaN NaN

22 NaN NaN 0.952449 0.973646 NaN NaN

23 NaN NaN 0.953085 0.97619 NaN NaN

24 NaN NaN 0.958879 0.979916 NaN NaN

25 NaN NaN 0.959333 0.980189 NaN NaN

26 NaN NaN 0.960492 0.977463 NaN NaN

27 NaN NaN 0.966058 0.984824 NaN NaN

28 NaN NaN 0.957425 0.976372 NaN NaN

29 NaN NaN 0.959606 0.976009 NaN NaN

30 NaN NaN 0.964195 0.985642 NaN NaN

31 NaN NaN 0.964626 0.985551 NaN NaN

32 NaN NaN 0.96424 NaN NaN NaN

33 NaN NaN NaN NaN NaN NaN

34 NaN NaN NaN NaN NaN NaN

35 NaN NaN NaN NaN NaN NaN

36 NaN NaN NaN NaN NaN NaN

37 NaN NaN NaN NaN NaN NaN

38 NaN NaN NaN NaN NaN NaN

39 NaN NaN NaN NaN NaN NaN

evaluating on test set...

Accuracy on test images: 0.985187

epoch 32 accuracy on test set is: 0.9851872046528535

evaluating on test set takes 17 seconds.

shallow_train shallow_test scratch_train scratch_test deep_train deep_test

0 NaN NaN 0.277854 0.251999 NaN NaN

1 NaN NaN 0.473737 0.542803 NaN NaN

2 NaN NaN 0.651877 0.724555 NaN NaN

3 NaN NaN 0.742321 0.83197 NaN NaN

4 NaN NaN 0.776081 0.848419 NaN NaN

5 NaN NaN 0.830153 0.892857 NaN NaN

6 NaN NaN 0.839399 0.894039 NaN NaN

7 NaN NaN 0.869706 0.914304 NaN NaN

8 NaN NaN 0.882656 0.925391 NaN NaN

9 NaN NaN 0.903194 0.951018 NaN NaN

10 NaN NaN 0.910305 0.941567 NaN NaN

11 NaN NaN 0.919257 0.959833 NaN NaN

12 NaN NaN 0.923687 0.96365 NaN NaN

13 NaN NaN 0.934115 0.961923 NaN NaN

14 NaN NaN 0.928253 0.96365 NaN NaN

15 NaN NaN 0.936796 0.96574 NaN NaN

16 NaN NaN 0.942794 0.970102 NaN NaN

17 NaN NaN 0.944089 0.969829 NaN NaN

18 NaN NaN 0.94293 0.972465 NaN NaN

19 NaN NaN 0.949041 0.973646 NaN NaN

20 NaN NaN 0.949677 0.973101 NaN NaN

21 NaN NaN 0.935751 0.955107 NaN NaN

22 NaN NaN 0.952449 0.973646 NaN NaN

23 NaN NaN 0.953085 0.97619 NaN NaN

24 NaN NaN 0.958879 0.979916 NaN NaN

25 NaN NaN 0.959333 0.980189 NaN NaN

26 NaN NaN 0.960492 0.977463 NaN NaN

27 NaN NaN 0.966058 0.984824 NaN NaN

28 NaN NaN 0.957425 0.976372 NaN NaN

29 NaN NaN 0.959606 0.976009 NaN NaN

30 NaN NaN 0.964195 0.985642 NaN NaN

31 NaN NaN 0.964626 0.985551 NaN NaN

32 NaN NaN 0.96424 0.985187 NaN NaN

33 NaN NaN NaN NaN NaN NaN

34 NaN NaN NaN NaN NaN NaN

35 NaN NaN NaN NaN NaN NaN

36 NaN NaN NaN NaN NaN NaN

37 NaN NaN NaN NaN NaN NaN

38 NaN NaN NaN NaN NaN NaN

39 NaN NaN NaN NaN NaN NaN

epoch 32 takes 319 seconds.

[34, 30] loss: 0.143

[34, 60] loss: 0.112

[34, 90] loss: 0.162

[34, 120] loss: 0.148

[34, 150] loss: 0.097

[34, 180] loss: 0.133

[34, 210] loss: 0.160

[34, 240] loss: 0.145

[34, 270] loss: 0.135

[34, 300] loss: 0.163

[34, 330] loss: 0.116

[34, 360] loss: 0.119

[34, 390] loss: 0.126

[34, 420] loss: 0.194

[34, 450] loss: 0.124

[34, 480] loss: 0.203

[34, 510] loss: 0.151

[34, 540] loss: 0.136

[34, 570] loss: 0.139

[34, 600] loss: 0.106

[34, 630] loss: 0.135

[34, 660] loss: 0.147

[34, 690] loss: 0.131

[34, 720] loss: 0.138

[34, 750] loss: 0.139

[34, 780] loss: 0.117

[34, 810] loss: 0.113

[34, 840] loss: 0.107

[34, 870] loss: 0.115

[34, 900] loss: 0.145

[34, 930] loss: 0.194

[34, 960] loss: 0.207

[34, 990] loss: 0.100

[34, 1020] loss: 0.173

[34, 1050] loss: 0.181

[34, 1080] loss: 0.108

[34, 1110] loss: 0.128

[34, 1140] loss: 0.109

[34, 1170] loss: 0.110

[34, 1200] loss: 0.138

[34, 1230] loss: 0.127

[34, 1260] loss: 0.098

[34, 1290] loss: 0.105

[34, 1320] loss: 0.118

[34, 1350] loss: 0.129

[34, 1380] loss: 0.125

[34, 1410] loss: 0.134

[34, 1440] loss: 0.143

[34, 1470] loss: 0.165

[34, 1500] loss: 0.134

[34, 1530] loss: 0.164

[34, 1560] loss: 0.141

[34, 1590] loss: 0.152

[34, 1620] loss: 0.144

[34, 1650] loss: 0.142

[34, 1680] loss: 0.091

[34, 1710] loss: 0.119

[34, 1740] loss: 0.137

[34, 1770] loss: 0.134

[34, 1800] loss: 0.114

[34, 1830] loss: 0.166

[34, 1860] loss: 0.105

[34, 1890] loss: 0.104

[34, 1920] loss: 0.093

[34, 1950] loss: 0.119

[34, 1980] loss: 0.123

[34, 2010] loss: 0.113

[34, 2040] loss: 0.114

[34, 2070] loss: 0.173

[34, 2100] loss: 0.108

[34, 2130] loss: 0.159

[34, 2160] loss: 0.082

[34, 2190] loss: 0.129

ovft_intermediate_models/epoch33_scratch.pt saved.


evaluating on training set...

Accuracy on test images: 0.961469

epoch 33 accuracy on train set is: 0.9614685568884043

evaluating on training set takes 64 seconds.

shallow_train shallow_test scratch_train scratch_test deep_train deep_test

0 NaN NaN 0.277854 0.251999 NaN NaN

1 NaN NaN 0.473737 0.542803 NaN NaN

2 NaN NaN 0.651877 0.724555 NaN NaN

3 NaN NaN 0.742321 0.83197 NaN NaN

4 NaN NaN 0.776081 0.848419 NaN NaN

5 NaN NaN 0.830153 0.892857 NaN NaN

6 NaN NaN 0.839399 0.894039 NaN NaN

7 NaN NaN 0.869706 0.914304 NaN NaN

8 NaN NaN 0.882656 0.925391 NaN NaN

9 NaN NaN 0.903194 0.951018 NaN NaN

10 NaN NaN 0.910305 0.941567 NaN NaN

11 NaN NaN 0.919257 0.959833 NaN NaN

12 NaN NaN 0.923687 0.96365 NaN NaN

13 NaN NaN 0.934115 0.961923 NaN NaN

14 NaN NaN 0.928253 0.96365 NaN NaN

15 NaN NaN 0.936796 0.96574 NaN NaN

16 NaN NaN 0.942794 0.970102 NaN NaN

17 NaN NaN 0.944089 0.969829 NaN NaN

18 NaN NaN 0.94293 0.972465 NaN NaN

19 NaN NaN 0.949041 0.973646 NaN NaN

20 NaN NaN 0.949677 0.973101 NaN NaN

21 NaN NaN 0.935751 0.955107 NaN NaN

22 NaN NaN 0.952449 0.973646 NaN NaN

23 NaN NaN 0.953085 0.97619 NaN NaN

24 NaN NaN 0.958879 0.979916 NaN NaN

25 NaN NaN 0.959333 0.980189 NaN NaN

26 NaN NaN 0.960492 0.977463 NaN NaN

27 NaN NaN 0.966058 0.984824 NaN NaN

28 NaN NaN 0.957425 0.976372 NaN NaN

29 NaN NaN 0.959606 0.976009 NaN NaN

30 NaN NaN 0.964195 0.985642 NaN NaN

31 NaN NaN 0.964626 0.985551 NaN NaN

32 NaN NaN 0.96424 0.985187 NaN NaN

33 NaN NaN 0.961469 NaN NaN NaN

34 NaN NaN NaN NaN NaN NaN

35 NaN NaN NaN NaN NaN NaN

36 NaN NaN NaN NaN NaN NaN

37 NaN NaN NaN NaN NaN NaN

38 NaN NaN NaN NaN NaN NaN

39 NaN NaN NaN NaN NaN NaN

evaluating on test set...

Accuracy on test images: 0.980825

epoch 33 accuracy on test set is: 0.9808251544892767

evaluating on test set takes 16 seconds.

shallow_train shallow_test scratch_train scratch_test deep_train deep_test

0 NaN NaN 0.277854 0.251999 NaN NaN

1 NaN NaN 0.473737 0.542803 NaN NaN

2 NaN NaN 0.651877 0.724555 NaN NaN

3 NaN NaN 0.742321 0.83197 NaN NaN

4 NaN NaN 0.776081 0.848419 NaN NaN

5 NaN NaN 0.830153 0.892857 NaN NaN

6 NaN NaN 0.839399 0.894039 NaN NaN

7 NaN NaN 0.869706 0.914304 NaN NaN

8 NaN NaN 0.882656 0.925391 NaN NaN

9 NaN NaN 0.903194 0.951018 NaN NaN

10 NaN NaN 0.910305 0.941567 NaN NaN

11 NaN NaN 0.919257 0.959833 NaN NaN

12 NaN NaN 0.923687 0.96365 NaN NaN

13 NaN NaN 0.934115 0.961923 NaN NaN

14 NaN NaN 0.928253 0.96365 NaN NaN

15 NaN NaN 0.936796 0.96574 NaN NaN

16 NaN NaN 0.942794 0.970102 NaN NaN

17 NaN NaN 0.944089 0.969829 NaN NaN

18 NaN NaN 0.94293 0.972465 NaN NaN

19 NaN NaN 0.949041 0.973646 NaN NaN

20 NaN NaN 0.949677 0.973101 NaN NaN

21 NaN NaN 0.935751 0.955107 NaN NaN

22 NaN NaN 0.952449 0.973646 NaN NaN

23 NaN NaN 0.953085 0.97619 NaN NaN

24 NaN NaN 0.958879 0.979916 NaN NaN

25 NaN NaN 0.959333 0.980189 NaN NaN

26 NaN NaN 0.960492 0.977463 NaN NaN

27 NaN NaN 0.966058 0.984824 NaN NaN

28 NaN NaN 0.957425 0.976372 NaN NaN

29 NaN NaN 0.959606 0.976009 NaN NaN

30 NaN NaN 0.964195 0.985642 NaN NaN

31 NaN NaN 0.964626 0.985551 NaN NaN

32 NaN NaN 0.96424 0.985187 NaN NaN

33 NaN NaN 0.961469 0.980825 NaN NaN

34 NaN NaN NaN NaN NaN NaN

35 NaN NaN NaN NaN NaN NaN

36 NaN NaN NaN NaN NaN NaN

37 NaN NaN NaN NaN NaN NaN

38 NaN NaN NaN NaN NaN NaN

39 NaN NaN NaN NaN NaN NaN

epoch 33 takes 320 seconds.

[35, 30] loss: 0.128

[35, 60] loss: 0.114

[35, 90] loss: 0.182

[35, 120] loss: 0.128

[35, 150] loss: 0.122

[35, 180] loss: 0.127

[35, 210] loss: 0.150

[35, 240] loss: 0.121

[35, 270] loss: 0.145

[35, 300] loss: 0.124

[35, 330] loss: 0.117

[35, 360] loss: 0.172

[35, 390] loss: 0.144

[35, 420] loss: 0.171

[35, 450] loss: 0.105

[35, 480] loss: 0.112

[35, 510] loss: 0.117

[35, 540] loss: 0.122

[35, 570] loss: 0.150

[35, 600] loss: 0.144

[35, 630] loss: 0.154

[35, 660] loss: 0.108

[35, 690] loss: 0.096

[35, 720] loss: 0.155

[35, 750] loss: 0.150

[35, 780] loss: 0.132

[35, 810] loss: 0.108

[35, 840] loss: 0.138

[35, 870] loss: 0.131

[35, 900] loss: 0.155

[35, 930] loss: 0.133

[35, 960] loss: 0.112

[35, 990] loss: 0.108

[35, 1020] loss: 0.127

[35, 1050] loss: 0.108

[35, 1080] loss: 0.114

[35, 1110] loss: 0.133

[35, 1140] loss: 0.116

[35, 1170] loss: 0.163

[35, 1200] loss: 0.156

[35, 1230] loss: 0.121

[35, 1260] loss: 0.140

[35, 1290] loss: 0.161

[35, 1320] loss: 0.148

[35, 1350] loss: 0.135

[35, 1380] loss: 0.124

[35, 1410] loss: 0.139

[35, 1440] loss: 0.121

[35, 1470] loss: 0.143

[35, 1500] loss: 0.149

[35, 1530] loss: 0.152

[35, 1560] loss: 0.157

[35, 1590] loss: 0.098

[35, 1620] loss: 0.132

[35, 1650] loss: 0.105

[35, 1680] loss: 0.141

[35, 1710] loss: 0.126

[35, 1740] loss: 0.124

[35, 1770] loss: 0.115

[35, 1800] loss: 0.091

[35, 1830] loss: 0.130

[35, 1860] loss: 0.143

[35, 1890] loss: 0.111

[35, 1920] loss: 0.127

[35, 1950] loss: 0.142

[35, 1980] loss: 0.135

[35, 2010] loss: 0.137

[35, 2040] loss: 0.113

[35, 2070] loss: 0.191

[35, 2100] loss: 0.152

[35, 2130] loss: 0.136

[35, 2160] loss: 0.121

[35, 2190] loss: 0.127

ovft_intermediate_models/epoch34_scratch.pt saved.


evaluating on training set...

Accuracy on test images: 0.964967

epoch 34 accuracy on train set is: 0.9649672846237731

evaluating on training set takes 64 seconds.

shallow_train shallow_test scratch_train scratch_test deep_train deep_test

0 NaN NaN 0.277854 0.251999 NaN NaN

1 NaN NaN 0.473737 0.542803 NaN NaN

2 NaN NaN 0.651877 0.724555 NaN NaN

3 NaN NaN 0.742321 0.83197 NaN NaN

4 NaN NaN 0.776081 0.848419 NaN NaN

5 NaN NaN 0.830153 0.892857 NaN NaN

6 NaN NaN 0.839399 0.894039 NaN NaN

7 NaN NaN 0.869706 0.914304 NaN NaN

8 NaN NaN 0.882656 0.925391 NaN NaN

9 NaN NaN 0.903194 0.951018 NaN NaN

10 NaN NaN 0.910305 0.941567 NaN NaN

11 NaN NaN 0.919257 0.959833 NaN NaN

12 NaN NaN 0.923687 0.96365 NaN NaN

13 NaN NaN 0.934115 0.961923 NaN NaN

14 NaN NaN 0.928253 0.96365 NaN NaN

15 NaN NaN 0.936796 0.96574 NaN NaN

16 NaN NaN 0.942794 0.970102 NaN NaN

17 NaN NaN 0.944089 0.969829 NaN NaN

18 NaN NaN 0.94293 0.972465 NaN NaN

19 NaN NaN 0.949041 0.973646 NaN NaN

20 NaN NaN 0.949677 0.973101 NaN NaN

21 NaN NaN 0.935751 0.955107 NaN NaN

22 NaN NaN 0.952449 0.973646 NaN NaN

23 NaN NaN 0.953085 0.97619 NaN NaN

24 NaN NaN 0.958879 0.979916 NaN NaN

25 NaN NaN 0.959333 0.980189 NaN NaN

26 NaN NaN 0.960492 0.977463 NaN NaN

27 NaN NaN 0.966058 0.984824 NaN NaN

28 NaN NaN 0.957425 0.976372 NaN NaN

29 NaN NaN 0.959606 0.976009 NaN NaN

30 NaN NaN 0.964195 0.985642 NaN NaN

31 NaN NaN 0.964626 0.985551 NaN NaN

32 NaN NaN 0.96424 0.985187 NaN NaN

33 NaN NaN 0.961469 0.980825 NaN NaN

34 NaN NaN 0.964967 NaN NaN NaN

35 NaN NaN NaN NaN NaN NaN

36 NaN NaN NaN NaN NaN NaN

37 NaN NaN NaN NaN NaN NaN

38 NaN NaN NaN NaN NaN NaN

39 NaN NaN NaN NaN NaN NaN

evaluating on test set...

Accuracy on test images: 0.985369

epoch 34 accuracy on test set is: 0.9853689567430025

evaluating on test set takes 16 seconds.

shallow_train shallow_test scratch_train scratch_test deep_train deep_test

0 NaN NaN 0.277854 0.251999 NaN NaN

1 NaN NaN 0.473737 0.542803 NaN NaN

2 NaN NaN 0.651877 0.724555 NaN NaN

3 NaN NaN 0.742321 0.83197 NaN NaN

4 NaN NaN 0.776081 0.848419 NaN NaN

5 NaN NaN 0.830153 0.892857 NaN NaN

6 NaN NaN 0.839399 0.894039 NaN NaN

7 NaN NaN 0.869706 0.914304 NaN NaN

8 NaN NaN 0.882656 0.925391 NaN NaN

9 NaN NaN 0.903194 0.951018 NaN NaN

10 NaN NaN 0.910305 0.941567 NaN NaN

11 NaN NaN 0.919257 0.959833 NaN NaN

12 NaN NaN 0.923687 0.96365 NaN NaN

13 NaN NaN 0.934115 0.961923 NaN NaN

14 NaN NaN 0.928253 0.96365 NaN NaN

15 NaN NaN 0.936796 0.96574 NaN NaN

16 NaN NaN 0.942794 0.970102 NaN NaN

17 NaN NaN 0.944089 0.969829 NaN NaN

18 NaN NaN 0.94293 0.972465 NaN NaN

19 NaN NaN 0.949041 0.973646 NaN NaN

20 NaN NaN 0.949677 0.973101 NaN NaN

21 NaN NaN 0.935751 0.955107 NaN NaN

22 NaN NaN 0.952449 0.973646 NaN NaN

23 NaN NaN 0.953085 0.97619 NaN NaN

24 NaN NaN 0.958879 0.979916 NaN NaN

25 NaN NaN 0.959333 0.980189 NaN NaN

26 NaN NaN 0.960492 0.977463 NaN NaN

27 NaN NaN 0.966058 0.984824 NaN NaN

28 NaN NaN 0.957425 0.976372 NaN NaN

29 NaN NaN 0.959606 0.976009 NaN NaN

30 NaN NaN 0.964195 0.985642 NaN NaN

31 NaN NaN 0.964626 0.985551 NaN NaN

32 NaN NaN 0.96424 0.985187 NaN NaN

33 NaN NaN 0.961469 0.980825 NaN NaN

34 NaN NaN 0.964967 0.985369 NaN NaN

35 NaN NaN NaN NaN NaN NaN

36 NaN NaN NaN NaN NaN NaN

37 NaN NaN NaN NaN NaN NaN

38 NaN NaN NaN NaN NaN NaN

39 NaN NaN NaN NaN NaN NaN

epoch 34 takes 317 seconds.

[36, 30] loss: 0.162

[36, 60] loss: 0.138

[36, 90] loss: 0.144

[36, 120] loss: 0.160

[36, 150] loss: 0.130

[36, 180] loss: 0.104

[36, 210] loss: 0.071

[36, 240] loss: 0.133

[36, 270] loss: 0.128

[36, 300] loss: 0.176

[36, 330] loss: 0.133

[36, 360] loss: 0.156

[36, 390] loss: 0.127

[36, 420] loss: 0.154

[36, 450] loss: 0.155

[36, 480] loss: 0.146

[36, 510] loss: 0.133

[36, 540] loss: 0.123

[36, 570] loss: 0.108

[36, 600] loss: 0.129

[36, 630] loss: 0.163

[36, 660] loss: 0.144

[36, 690] loss: 0.143

[36, 720] loss: 0.137

[36, 750] loss: 0.154

[36, 780] loss: 0.088

[36, 810] loss: 0.100

[36, 840] loss: 0.125

[36, 870] loss: 0.119

[36, 900] loss: 0.166

[36, 930] loss: 0.157

[36, 960] loss: 0.098

[36, 990] loss: 0.114

[36, 1020] loss: 0.096

[36, 1050] loss: 0.160

[36, 1080] loss: 0.189

[36, 1110] loss: 0.181

[36, 1140] loss: 0.132

[36, 1170] loss: 0.152

[36, 1200] loss: 0.157

[36, 1230] loss: 0.110

[36, 1260] loss: 0.085

[36, 1290] loss: 0.100

[36, 1320] loss: 0.214

[36, 1350] loss: 0.145

[36, 1380] loss: 0.131

[36, 1410] loss: 0.154

[36, 1440] loss: 0.139

[36, 1470] loss: 0.164

[36, 1500] loss: 0.111

[36, 1530] loss: 0.203

[36, 1560] loss: 0.139

[36, 1590] loss: 0.127

[36, 1620] loss: 0.137

[36, 1650] loss: 0.136

[36, 1680] loss: 0.117

[36, 1710] loss: 0.096

[36, 1740] loss: 0.145

[36, 1770] loss: 0.123

[36, 1800] loss: 0.130

[36, 1830] loss: 0.128

[36, 1860] loss: 0.114

[36, 1890] loss: 0.081

[36, 1920] loss: 0.096

[36, 1950] loss: 0.141

[36, 1980] loss: 0.118

[36, 2010] loss: 0.176

[36, 2040] loss: 0.099

[36, 2070] loss: 0.075

[36, 2100] loss: 0.114

[36, 2130] loss: 0.105

[36, 2160] loss: 0.179

[36, 2190] loss: 0.168

ovft_intermediate_models/epoch35_scratch.pt saved.


evaluating on training set...

Accuracy on test images: 0.970306

epoch 35 accuracy on train set is: 0.9703062522719011

evaluating on training set takes 65 seconds.

shallow_train shallow_test scratch_train scratch_test deep_train deep_test

0 NaN NaN 0.277854 0.251999 NaN NaN

1 NaN NaN 0.473737 0.542803 NaN NaN

2 NaN NaN 0.651877 0.724555 NaN NaN

3 NaN NaN 0.742321 0.83197 NaN NaN

4 NaN NaN 0.776081 0.848419 NaN NaN

5 NaN NaN 0.830153 0.892857 NaN NaN

6 NaN NaN 0.839399 0.894039 NaN NaN

7 NaN NaN 0.869706 0.914304 NaN NaN

8 NaN NaN 0.882656 0.925391 NaN NaN

9 NaN NaN 0.903194 0.951018 NaN NaN

10 NaN NaN 0.910305 0.941567 NaN NaN

11 NaN NaN 0.919257 0.959833 NaN NaN

12 NaN NaN 0.923687 0.96365 NaN NaN

13 NaN NaN 0.934115 0.961923 NaN NaN

14 NaN NaN 0.928253 0.96365 NaN NaN

15 NaN NaN 0.936796 0.96574 NaN NaN

16 NaN NaN 0.942794 0.970102 NaN NaN

17 NaN NaN 0.944089 0.969829 NaN NaN

18 NaN NaN 0.94293 0.972465 NaN NaN

19 NaN NaN 0.949041 0.973646 NaN NaN

20 NaN NaN 0.949677 0.973101 NaN NaN

21 NaN NaN 0.935751 0.955107 NaN NaN

22 NaN NaN 0.952449 0.973646 NaN NaN

23 NaN NaN 0.953085 0.97619 NaN NaN

24 NaN NaN 0.958879 0.979916 NaN NaN

25 NaN NaN 0.959333 0.980189 NaN NaN

26 NaN NaN 0.960492 0.977463 NaN NaN

27 NaN NaN 0.966058 0.984824 NaN NaN

28 NaN NaN 0.957425 0.976372 NaN NaN

29 NaN NaN 0.959606 0.976009 NaN NaN

30 NaN NaN 0.964195 0.985642 NaN NaN

31 NaN NaN 0.964626 0.985551 NaN NaN

32 NaN NaN 0.96424 0.985187 NaN NaN

33 NaN NaN 0.961469 0.980825 NaN NaN

34 NaN NaN 0.964967 0.985369 NaN NaN

35 NaN NaN 0.970306 NaN NaN NaN

36 NaN NaN NaN NaN NaN NaN

37 NaN NaN NaN NaN NaN NaN

38 NaN NaN NaN NaN NaN NaN

39 NaN NaN NaN NaN NaN NaN

evaluating on test set...

Accuracy on test images: 0.986550

epoch 35 accuracy on test set is: 0.9865503453289712

evaluating on test set takes 16 seconds.

shallow_train shallow_test scratch_train scratch_test deep_train deep_test

0 NaN NaN 0.277854 0.251999 NaN NaN

1 NaN NaN 0.473737 0.542803 NaN NaN

2 NaN NaN 0.651877 0.724555 NaN NaN

3 NaN NaN 0.742321 0.83197 NaN NaN

4 NaN NaN 0.776081 0.848419 NaN NaN

5 NaN NaN 0.830153 0.892857 NaN NaN

6 NaN NaN 0.839399 0.894039 NaN NaN

7 NaN NaN 0.869706 0.914304 NaN NaN

8 NaN NaN 0.882656 0.925391 NaN NaN

9 NaN NaN 0.903194 0.951018 NaN NaN

10 NaN NaN 0.910305 0.941567 NaN NaN

11 NaN NaN 0.919257 0.959833 NaN NaN

12 NaN NaN 0.923687 0.96365 NaN NaN

13 NaN NaN 0.934115 0.961923 NaN NaN

14 NaN NaN 0.928253 0.96365 NaN NaN

15 NaN NaN 0.936796 0.96574 NaN NaN

16 NaN NaN 0.942794 0.970102 NaN NaN

17 NaN NaN 0.944089 0.969829 NaN NaN

18 NaN NaN 0.94293 0.972465 NaN NaN

19 NaN NaN 0.949041 0.973646 NaN NaN

20 NaN NaN 0.949677 0.973101 NaN NaN

21 NaN NaN 0.935751 0.955107 NaN NaN

22 NaN NaN 0.952449 0.973646 NaN NaN

23 NaN NaN 0.953085 0.97619 NaN NaN

24 NaN NaN 0.958879 0.979916 NaN NaN

25 NaN NaN 0.959333 0.980189 NaN NaN

26 NaN NaN 0.960492 0.977463 NaN NaN

27 NaN NaN 0.966058 0.984824 NaN NaN

28 NaN NaN 0.957425 0.976372 NaN NaN

29 NaN NaN 0.959606 0.976009 NaN NaN

30 NaN NaN 0.964195 0.985642 NaN NaN

31 NaN NaN 0.964626 0.985551 NaN NaN

32 NaN NaN 0.96424 0.985187 NaN NaN

33 NaN NaN 0.961469 0.980825 NaN NaN

34 NaN NaN 0.964967 0.985369 NaN NaN

35 NaN NaN 0.970306 0.98655 NaN NaN

36 NaN NaN NaN NaN NaN NaN

37 NaN NaN NaN NaN NaN NaN

38 NaN NaN NaN NaN NaN NaN

39 NaN NaN NaN NaN NaN NaN

epoch 35 takes 326 seconds.

[37, 30] loss: 0.113

[37, 60] loss: 0.127

[37, 90] loss: 0.113

[37, 120] loss: 0.108

[37, 150] loss: 0.159

[37, 180] loss: 0.149

[37, 210] loss: 0.125

[37, 240] loss: 0.179

[37, 270] loss: 0.123

[37, 300] loss: 0.126

[37, 330] loss: 0.113

[37, 360] loss: 0.128

[37, 390] loss: 0.142

[37, 420] loss: 0.203

[37, 450] loss: 0.115

[37, 480] loss: 0.138

[37, 510] loss: 0.088

[37, 540] loss: 0.114

[37, 570] loss: 0.149

[37, 600] loss: 0.128

[37, 630] loss: 0.126

[37, 660] loss: 0.138

[37, 690] loss: 0.140

[37, 720] loss: 0.109

[37, 750] loss: 0.131

[37, 780] loss: 0.134

[37, 810] loss: 0.105

[37, 840] loss: 0.161

[37, 870] loss: 0.131

[37, 900] loss: 0.149

[37, 930] loss: 0.128

[37, 960] loss: 0.107

[37, 990] loss: 0.132

[37, 1020] loss: 0.104

[37, 1050] loss: 0.172

[37, 1080] loss: 0.153

[37, 1110] loss: 0.147

[37, 1140] loss: 0.155

[37, 1170] loss: 0.091

[37, 1200] loss: 0.113

[37, 1230] loss: 0.120

[37, 1260] loss: 0.129

[37, 1290] loss: 0.141

[37, 1320] loss: 0.123

[37, 1350] loss: 0.116

[37, 1380] loss: 0.162

[37, 1410] loss: 0.110

[37, 1440] loss: 0.125

[37, 1470] loss: 0.091

[37, 1500] loss: 0.099

[37, 1530] loss: 0.134

[37, 1560] loss: 0.134

[37, 1590] loss: 0.126

[37, 1620] loss: 0.126

[37, 1650] loss: 0.102

[37, 1680] loss: 0.136

[37, 1710] loss: 0.180

[37, 1740] loss: 0.123

[37, 1770] loss: 0.120

[37, 1800] loss: 0.080

[37, 1830] loss: 0.093

[37, 1860] loss: 0.130

[37, 1890] loss: 0.116

[37, 1920] loss: 0.085

[37, 1950] loss: 0.095

[37, 1980] loss: 0.126

[37, 2010] loss: 0.129

[37, 2040] loss: 0.128

[37, 2070] loss: 0.101

[37, 2100] loss: 0.173

[37, 2130] loss: 0.124

[37, 2160] loss: 0.128

[37, 2190] loss: 0.112

ovft_intermediate_models/epoch36_scratch.pt saved.


evaluating on training set...

Accuracy on test images: 0.967489

epoch 36 accuracy on train set is: 0.967489094874591

evaluating on training set takes 65 seconds.

shallow_train shallow_test scratch_train scratch_test deep_train deep_test

0 NaN NaN 0.277854 0.251999 NaN NaN

1 NaN NaN 0.473737 0.542803 NaN NaN

2 NaN NaN 0.651877 0.724555 NaN NaN

3 NaN NaN 0.742321 0.83197 NaN NaN

4 NaN NaN 0.776081 0.848419 NaN NaN

5 NaN NaN 0.830153 0.892857 NaN NaN

6 NaN NaN 0.839399 0.894039 NaN NaN

7 NaN NaN 0.869706 0.914304 NaN NaN

8 NaN NaN 0.882656 0.925391 NaN NaN

9 NaN NaN 0.903194 0.951018 NaN NaN

10 NaN NaN 0.910305 0.941567 NaN NaN

11 NaN NaN 0.919257 0.959833 NaN NaN

12 NaN NaN 0.923687 0.96365 NaN NaN

13 NaN NaN 0.934115 0.961923 NaN NaN

14 NaN NaN 0.928253 0.96365 NaN NaN

15 NaN NaN 0.936796 0.96574 NaN NaN

16 NaN NaN 0.942794 0.970102 NaN NaN

17 NaN NaN 0.944089 0.969829 NaN NaN

18 NaN NaN 0.94293 0.972465 NaN NaN

19 NaN NaN 0.949041 0.973646 NaN NaN

20 NaN NaN 0.949677 0.973101 NaN NaN

21 NaN NaN 0.935751 0.955107 NaN NaN

22 NaN NaN 0.952449 0.973646 NaN NaN

23 NaN NaN 0.953085 0.97619 NaN NaN

24 NaN NaN 0.958879 0.979916 NaN NaN

25 NaN NaN 0.959333 0.980189 NaN NaN

26 NaN NaN 0.960492 0.977463 NaN NaN

27 NaN NaN 0.966058 0.984824 NaN NaN

28 NaN NaN 0.957425 0.976372 NaN NaN

29 NaN NaN 0.959606 0.976009 NaN NaN

30 NaN NaN 0.964195 0.985642 NaN NaN

31 NaN NaN 0.964626 0.985551 NaN NaN

32 NaN NaN 0.96424 0.985187 NaN NaN

33 NaN NaN 0.961469 0.980825 NaN NaN

34 NaN NaN 0.964967 0.985369 NaN NaN

35 NaN NaN 0.970306 0.98655 NaN NaN

36 NaN NaN 0.967489 NaN NaN NaN

37 NaN NaN NaN NaN NaN NaN

38 NaN NaN NaN NaN NaN NaN

39 NaN NaN NaN NaN NaN NaN

evaluating on test set...

Accuracy on test images: 0.978281

epoch 36 accuracy on test set is: 0.9782806252271901

evaluating on test set takes 16 seconds.

shallow_train shallow_test scratch_train scratch_test deep_train deep_test

0 NaN NaN 0.277854 0.251999 NaN NaN

1 NaN NaN 0.473737 0.542803 NaN NaN

2 NaN NaN 0.651877 0.724555 NaN NaN

3 NaN NaN 0.742321 0.83197 NaN NaN

4 NaN NaN 0.776081 0.848419 NaN NaN

5 NaN NaN 0.830153 0.892857 NaN NaN

6 NaN NaN 0.839399 0.894039 NaN NaN

7 NaN NaN 0.869706 0.914304 NaN NaN

8 NaN NaN 0.882656 0.925391 NaN NaN

9 NaN NaN 0.903194 0.951018 NaN NaN

10 NaN NaN 0.910305 0.941567 NaN NaN

11 NaN NaN 0.919257 0.959833 NaN NaN

12 NaN NaN 0.923687 0.96365 NaN NaN

13 NaN NaN 0.934115 0.961923 NaN NaN

14 NaN NaN 0.928253 0.96365 NaN NaN

15 NaN NaN 0.936796 0.96574 NaN NaN

16 NaN NaN 0.942794 0.970102 NaN NaN

17 NaN NaN 0.944089 0.969829 NaN NaN

18 NaN NaN 0.94293 0.972465 NaN NaN

19 NaN NaN 0.949041 0.973646 NaN NaN

20 NaN NaN 0.949677 0.973101 NaN NaN

21 NaN NaN 0.935751 0.955107 NaN NaN

22 NaN NaN 0.952449 0.973646 NaN NaN

23 NaN NaN 0.953085 0.97619 NaN NaN

24 NaN NaN 0.958879 0.979916 NaN NaN

25 NaN NaN 0.959333 0.980189 NaN NaN

26 NaN NaN 0.960492 0.977463 NaN NaN

27 NaN NaN 0.966058 0.984824 NaN NaN

28 NaN NaN 0.957425 0.976372 NaN NaN

29 NaN NaN 0.959606 0.976009 NaN NaN

30 NaN NaN 0.964195 0.985642 NaN NaN

31 NaN NaN 0.964626 0.985551 NaN NaN

32 NaN NaN 0.96424 0.985187 NaN NaN

33 NaN NaN 0.961469 0.980825 NaN NaN

34 NaN NaN 0.964967 0.985369 NaN NaN

35 NaN NaN 0.970306 0.98655 NaN NaN

36 NaN NaN 0.967489 0.978281 NaN NaN

37 NaN NaN NaN NaN NaN NaN

38 NaN NaN NaN NaN NaN NaN

39 NaN NaN NaN NaN NaN NaN

epoch 36 takes 320 seconds.

[38, 30] loss: 0.123

[38, 60] loss: 0.086

[38, 90] loss: 0.094

[38, 120] loss: 0.108

[38, 150] loss: 0.114

[38, 180] loss: 0.161

[38, 210] loss: 0.118

[38, 240] loss: 0.110

[38, 270] loss: 0.154

[38, 300] loss: 0.113

[38, 330] loss: 0.153

[38, 360] loss: 0.128

[38, 390] loss: 0.118

[38, 420] loss: 0.110

[38, 450] loss: 0.146

[38, 480] loss: 0.096

[38, 510] loss: 0.100

[38, 540] loss: 0.078

[38, 570] loss: 0.116

[38, 600] loss: 0.142

[38, 630] loss: 0.156

[38, 660] loss: 0.127

[38, 690] loss: 0.138

[38, 720] loss: 0.117

[38, 750] loss: 0.165

[38, 780] loss: 0.086

[38, 810] loss: 0.104

[38, 840] loss: 0.145

[38, 870] loss: 0.101

[38, 900] loss: 0.137

[38, 930] loss: 0.139

[38, 960] loss: 0.131

[38, 990] loss: 0.134

[38, 1020] loss: 0.149

[38, 1050] loss: 0.074

[38, 1080] loss: 0.089

[38, 1110] loss: 0.123

[38, 1140] loss: 0.101

[38, 1170] loss: 0.143

[38, 1200] loss: 0.104

[38, 1230] loss: 0.126

[38, 1260] loss: 0.117

[38, 1290] loss: 0.123

[38, 1320] loss: 0.128

[38, 1350] loss: 0.090

[38, 1380] loss: 0.101

[38, 1410] loss: 0.128

[38, 1440] loss: 0.109

[38, 1470] loss: 0.175

[38, 1500] loss: 0.154

[38, 1530] loss: 0.130

[38, 1560] loss: 0.111

[38, 1590] loss: 0.118

[38, 1620] loss: 0.140

[38, 1650] loss: 0.143

[38, 1680] loss: 0.110

[38, 1710] loss: 0.104

[38, 1740] loss: 0.111

[38, 1770] loss: 0.127

[38, 1800] loss: 0.142

[38, 1830] loss: 0.143

[38, 1860] loss: 0.107

[38, 1890] loss: 0.133

[38, 1920] loss: 0.151

[38, 1950] loss: 0.099

[38, 1980] loss: 0.157

[38, 2010] loss: 0.089

[38, 2040] loss: 0.068

[38, 2070] loss: 0.151

[38, 2100] loss: 0.124

[38, 2130] loss: 0.188

[38, 2160] loss: 0.127

[38, 2190] loss: 0.113

ovft_intermediate_models/epoch37_scratch.pt saved.


evaluating on training set...

Accuracy on test images: 0.972146

epoch 37 accuracy on train set is: 0.9721464921846601

evaluating on training set takes 65 seconds.

shallow_train shallow_test scratch_train scratch_test deep_train deep_test

0 NaN NaN 0.277854 0.251999 NaN NaN

1 NaN NaN 0.473737 0.542803 NaN NaN

2 NaN NaN 0.651877 0.724555 NaN NaN

3 NaN NaN 0.742321 0.83197 NaN NaN

4 NaN NaN 0.776081 0.848419 NaN NaN

5 NaN NaN 0.830153 0.892857 NaN NaN

6 NaN NaN 0.839399 0.894039 NaN NaN

7 NaN NaN 0.869706 0.914304 NaN NaN

8 NaN NaN 0.882656 0.925391 NaN NaN

9 NaN NaN 0.903194 0.951018 NaN NaN

10 NaN NaN 0.910305 0.941567 NaN NaN

11 NaN NaN 0.919257 0.959833 NaN NaN

12 NaN NaN 0.923687 0.96365 NaN NaN

13 NaN NaN 0.934115 0.961923 NaN NaN

14 NaN NaN 0.928253 0.96365 NaN NaN

15 NaN NaN 0.936796 0.96574 NaN NaN

16 NaN NaN 0.942794 0.970102 NaN NaN

17 NaN NaN 0.944089 0.969829 NaN NaN

18 NaN NaN 0.94293 0.972465 NaN NaN

19 NaN NaN 0.949041 0.973646 NaN NaN

20 NaN NaN 0.949677 0.973101 NaN NaN

21 NaN NaN 0.935751 0.955107 NaN NaN

22 NaN NaN 0.952449 0.973646 NaN NaN

23 NaN NaN 0.953085 0.97619 NaN NaN

24 NaN NaN 0.958879 0.979916 NaN NaN

25 NaN NaN 0.959333 0.980189 NaN NaN

26 NaN NaN 0.960492 0.977463 NaN NaN

27 NaN NaN 0.966058 0.984824 NaN NaN

28 NaN NaN 0.957425 0.976372 NaN NaN

29 NaN NaN 0.959606 0.976009 NaN NaN

30 NaN NaN 0.964195 0.985642 NaN NaN

31 NaN NaN 0.964626 0.985551 NaN NaN

32 NaN NaN 0.96424 0.985187 NaN NaN

33 NaN NaN 0.961469 0.980825 NaN NaN

34 NaN NaN 0.964967 0.985369 NaN NaN

35 NaN NaN 0.970306 0.98655 NaN NaN

36 NaN NaN 0.967489 0.978281 NaN NaN

37 NaN NaN 0.972146 NaN NaN NaN

38 NaN NaN NaN NaN NaN NaN

39 NaN NaN NaN NaN NaN NaN

evaluating on test set...

Accuracy on test images: 0.987913

epoch 37 accuracy on test set is: 0.9879134860050891

evaluating on test set takes 16 seconds.

shallow_train shallow_test scratch_train scratch_test deep_train deep_test

0 NaN NaN 0.277854 0.251999 NaN NaN

1 NaN NaN 0.473737 0.542803 NaN NaN

2 NaN NaN 0.651877 0.724555 NaN NaN

3 NaN NaN 0.742321 0.83197 NaN NaN

4 NaN NaN 0.776081 0.848419 NaN NaN

5 NaN NaN 0.830153 0.892857 NaN NaN

6 NaN NaN 0.839399 0.894039 NaN NaN

7 NaN NaN 0.869706 0.914304 NaN NaN

8 NaN NaN 0.882656 0.925391 NaN NaN

9 NaN NaN 0.903194 0.951018 NaN NaN

10 NaN NaN 0.910305 0.941567 NaN NaN

11 NaN NaN 0.919257 0.959833 NaN NaN

12 NaN NaN 0.923687 0.96365 NaN NaN

13 NaN NaN 0.934115 0.961923 NaN NaN

14 NaN NaN 0.928253 0.96365 NaN NaN

15 NaN NaN 0.936796 0.96574 NaN NaN

16 NaN NaN 0.942794 0.970102 NaN NaN

17 NaN NaN 0.944089 0.969829 NaN NaN

18 NaN NaN 0.94293 0.972465 NaN NaN

19 NaN NaN 0.949041 0.973646 NaN NaN

20 NaN NaN 0.949677 0.973101 NaN NaN

21 NaN NaN 0.935751 0.955107 NaN NaN

22 NaN NaN 0.952449 0.973646 NaN NaN

23 NaN NaN 0.953085 0.97619 NaN NaN

24 NaN NaN 0.958879 0.979916 NaN NaN

25 NaN NaN 0.959333 0.980189 NaN NaN

26 NaN NaN 0.960492 0.977463 NaN NaN

27 NaN NaN 0.966058 0.984824 NaN NaN

28 NaN NaN 0.957425 0.976372 NaN NaN

29 NaN NaN 0.959606 0.976009 NaN NaN

30 NaN NaN 0.964195 0.985642 NaN NaN

31 NaN NaN 0.964626 0.985551 NaN NaN

32 NaN NaN 0.96424 0.985187 NaN NaN

33 NaN NaN 0.961469 0.980825 NaN NaN

34 NaN NaN 0.964967 0.985369 NaN NaN

35 NaN NaN 0.970306 0.98655 NaN NaN

36 NaN NaN 0.967489 0.978281 NaN NaN

37 NaN NaN 0.972146 0.987913 NaN NaN

38 NaN NaN NaN NaN NaN NaN

39 NaN NaN NaN NaN NaN NaN

epoch 37 takes 320 seconds.

[39, 30] loss: 0.105

[39, 60] loss: 0.154

[39, 90] loss: 0.094

[39, 120] loss: 0.124

[39, 150] loss: 0.095

[39, 180] loss: 0.128

[39, 210] loss: 0.113

[39, 240] loss: 0.138

[39, 270] loss: 0.157

[39, 300] loss: 0.158

[39, 330] loss: 0.153

[39, 360] loss: 0.086

[39, 390] loss: 0.128

[39, 420] loss: 0.119

[39, 450] loss: 0.111

[39, 480] loss: 0.113

[39, 510] loss: 0.129

[39, 540] loss: 0.111

[39, 570] loss: 0.132

[39, 600] loss: 0.107

[39, 630] loss: 0.109

[39, 660] loss: 0.100

[39, 690] loss: 0.122

[39, 720] loss: 0.129

[39, 750] loss: 0.138

[39, 780] loss: 0.112

[39, 810] loss: 0.094

[39, 840] loss: 0.069

[39, 870] loss: 0.134

[39, 900] loss: 0.092

[39, 930] loss: 0.110

[39, 960] loss: 0.102

[39, 990] loss: 0.103

[39, 1020] loss: 0.145

[39, 1050] loss: 0.104

[39, 1080] loss: 0.110

[39, 1110] loss: 0.113

[39, 1140] loss: 0.111

[39, 1170] loss: 0.072

[39, 1200] loss: 0.136

[39, 1230] loss: 0.110

[39, 1260] loss: 0.100

[39, 1290] loss: 0.145

[39, 1320] loss: 0.134

[39, 1350] loss: 0.143

[39, 1380] loss: 0.134

[39, 1410] loss: 0.129

[39, 1440] loss: 0.130

[39, 1470] loss: 0.098

[39, 1500] loss: 0.144

[39, 1530] loss: 0.119

[39, 1560] loss: 0.104

[39, 1590] loss: 0.100

[39, 1620] loss: 0.097

[39, 1650] loss: 0.124

[39, 1680] loss: 0.138

[39, 1710] loss: 0.116

[39, 1740] loss: 0.119

[39, 1770] loss: 0.100

[39, 1800] loss: 0.172

[39, 1830] loss: 0.145

[39, 1860] loss: 0.085

[39, 1890] loss: 0.099

[39, 1920] loss: 0.124

[39, 1950] loss: 0.138

[39, 1980] loss: 0.128

[39, 2010] loss: 0.134

[39, 2040] loss: 0.161

[39, 2070] loss: 0.151

[39, 2100] loss: 0.112

[39, 2130] loss: 0.184

[39, 2160] loss: 0.135

[39, 2190] loss: 0.117

ovft_intermediate_models/epoch38_scratch.pt saved.


evaluating on training set...

Accuracy on test images: 0.968284

epoch 38 accuracy on train set is: 0.9682842602689931

evaluating on training set takes 64 seconds.

shallow_train shallow_test scratch_train scratch_test deep_train deep_test

0 NaN NaN 0.277854 0.251999 NaN NaN

1 NaN NaN 0.473737 0.542803 NaN NaN

2 NaN NaN 0.651877 0.724555 NaN NaN

3 NaN NaN 0.742321 0.83197 NaN NaN

4 NaN NaN 0.776081 0.848419 NaN NaN

5 NaN NaN 0.830153 0.892857 NaN NaN

6 NaN NaN 0.839399 0.894039 NaN NaN

7 NaN NaN 0.869706 0.914304 NaN NaN

8 NaN NaN 0.882656 0.925391 NaN NaN

9 NaN NaN 0.903194 0.951018 NaN NaN

10 NaN NaN 0.910305 0.941567 NaN NaN

11 NaN NaN 0.919257 0.959833 NaN NaN

12 NaN NaN 0.923687 0.96365 NaN NaN

13 NaN NaN 0.934115 0.961923 NaN NaN

14 NaN NaN 0.928253 0.96365 NaN NaN

15 NaN NaN 0.936796 0.96574 NaN NaN

16 NaN NaN 0.942794 0.970102 NaN NaN

17 NaN NaN 0.944089 0.969829 NaN NaN

18 NaN NaN 0.94293 0.972465 NaN NaN

19 NaN NaN 0.949041 0.973646 NaN NaN

20 NaN NaN 0.949677 0.973101 NaN NaN

21 NaN NaN 0.935751 0.955107 NaN NaN

22 NaN NaN 0.952449 0.973646 NaN NaN

23 NaN NaN 0.953085 0.97619 NaN NaN

24 NaN NaN 0.958879 0.979916 NaN NaN

25 NaN NaN 0.959333 0.980189 NaN NaN

26 NaN NaN 0.960492 0.977463 NaN NaN

27 NaN NaN 0.966058 0.984824 NaN NaN

28 NaN NaN 0.957425 0.976372 NaN NaN

29 NaN NaN 0.959606 0.976009 NaN NaN

30 NaN NaN 0.964195 0.985642 NaN NaN

31 NaN NaN 0.964626 0.985551 NaN NaN

32 NaN NaN 0.96424 0.985187 NaN NaN

33 NaN NaN 0.961469 0.980825 NaN NaN

34 NaN NaN 0.964967 0.985369 NaN NaN

35 NaN NaN 0.970306 0.98655 NaN NaN

36 NaN NaN 0.967489 0.978281 NaN NaN

37 NaN NaN 0.972146 0.987913 NaN NaN

38 NaN NaN 0.968284 NaN NaN NaN

39 NaN NaN NaN NaN NaN NaN

evaluating on test set...

Accuracy on test images: 0.985642

epoch 38 accuracy on test set is: 0.9856415848782261

evaluating on test set takes 16 seconds.

shallow_train shallow_test scratch_train scratch_test deep_train deep_test

0 NaN NaN 0.277854 0.251999 NaN NaN

1 NaN NaN 0.473737 0.542803 NaN NaN

2 NaN NaN 0.651877 0.724555 NaN NaN

3 NaN NaN 0.742321 0.83197 NaN NaN

4 NaN NaN 0.776081 0.848419 NaN NaN

5 NaN NaN 0.830153 0.892857 NaN NaN

6 NaN NaN 0.839399 0.894039 NaN NaN

7 NaN NaN 0.869706 0.914304 NaN NaN

8 NaN NaN 0.882656 0.925391 NaN NaN

9 NaN NaN 0.903194 0.951018 NaN NaN

10 NaN NaN 0.910305 0.941567 NaN NaN

11 NaN NaN 0.919257 0.959833 NaN NaN

12 NaN NaN 0.923687 0.96365 NaN NaN

13 NaN NaN 0.934115 0.961923 NaN NaN

14 NaN NaN 0.928253 0.96365 NaN NaN

15 NaN NaN 0.936796 0.96574 NaN NaN

16 NaN NaN 0.942794 0.970102 NaN NaN

17 NaN NaN 0.944089 0.969829 NaN NaN

18 NaN NaN 0.94293 0.972465 NaN NaN

19 NaN NaN 0.949041 0.973646 NaN NaN

20 NaN NaN 0.949677 0.973101 NaN NaN

21 NaN NaN 0.935751 0.955107 NaN NaN

22 NaN NaN 0.952449 0.973646 NaN NaN

23 NaN NaN 0.953085 0.97619 NaN NaN

24 NaN NaN 0.958879 0.979916 NaN NaN

25 NaN NaN 0.959333 0.980189 NaN NaN

26 NaN NaN 0.960492 0.977463 NaN NaN

27 NaN NaN 0.966058 0.984824 NaN NaN

28 NaN NaN 0.957425 0.976372 NaN NaN

29 NaN NaN 0.959606 0.976009 NaN NaN

30 NaN NaN 0.964195 0.985642 NaN NaN

31 NaN NaN 0.964626 0.985551 NaN NaN

32 NaN NaN 0.96424 0.985187 NaN NaN

33 NaN NaN 0.961469 0.980825 NaN NaN

34 NaN NaN 0.964967 0.985369 NaN NaN

35 NaN NaN 0.970306 0.98655 NaN NaN

36 NaN NaN 0.967489 0.978281 NaN NaN

37 NaN NaN 0.972146 0.987913 NaN NaN

38 NaN NaN 0.968284 0.985642 NaN NaN

39 NaN NaN NaN NaN NaN NaN

epoch 38 takes 318 seconds.

[40, 30] loss: 0.075

[40, 60] loss: 0.094

[40, 90] loss: 0.076

[40, 120] loss: 0.124

[40, 150] loss: 0.135

[40, 180] loss: 0.117

[40, 210] loss: 0.109

[40, 240] loss: 0.095

[40, 270] loss: 0.131

[40, 300] loss: 0.104

[40, 330] loss: 0.114

[40, 360] loss: 0.084

[40, 390] loss: 0.132

[40, 420] loss: 0.111

[40, 450] loss: 0.116

[40, 480] loss: 0.112

[40, 510] loss: 0.105

[40, 540] loss: 0.128

[40, 570] loss: 0.104

[40, 600] loss: 0.108

[40, 630] loss: 0.149

[40, 660] loss: 0.107

[40, 690] loss: 0.126

[40, 720] loss: 0.192

[40, 750] loss: 0.139

[40, 780] loss: 0.105

[40, 810] loss: 0.115

[40, 840] loss: 0.114

[40, 870] loss: 0.083

[40, 900] loss: 0.080

[40, 930] loss: 0.102

[40, 960] loss: 0.162

[40, 990] loss: 0.097

[40, 1020] loss: 0.140

[40, 1050] loss: 0.114

[40, 1080] loss: 0.122

[40, 1110] loss: 0.109

[40, 1140] loss: 0.092

[40, 1170] loss: 0.122

[40, 1200] loss: 0.135

[40, 1230] loss: 0.138

[40, 1260] loss: 0.129

[40, 1290] loss: 0.132

[40, 1320] loss: 0.133

[40, 1350] loss: 0.091

[40, 1380] loss: 0.110

[40, 1410] loss: 0.111

[40, 1440] loss: 0.161

[40, 1470] loss: 0.102

[40, 1500] loss: 0.184

[40, 1530] loss: 0.105

[40, 1560] loss: 0.119

[40, 1590] loss: 0.110

[40, 1620] loss: 0.074

[40, 1650] loss: 0.089

[40, 1680] loss: 0.120

[40, 1710] loss: 0.086

[40, 1740] loss: 0.112

[40, 1770] loss: 0.113

[40, 1800] loss: 0.122

[40, 1830] loss: 0.157

[40, 1860] loss: 0.153

[40, 1890] loss: 0.146

[40, 1920] loss: 0.106

[40, 1950] loss: 0.112

[40, 1980] loss: 0.125

[40, 2010] loss: 0.138

[40, 2040] loss: 0.133

[40, 2070] loss: 0.117

[40, 2100] loss: 0.119

[40, 2130] loss: 0.137

[40, 2160] loss: 0.116

[40, 2190] loss: 0.125

ovft_intermediate_models/epoch39_scratch.pt saved.


evaluating on training set...

Accuracy on test images: 0.966898

epoch 39 accuracy on train set is: 0.9668984005816067

evaluating on training set takes 64 seconds.

shallow_train shallow_test scratch_train scratch_test deep_train deep_test

0 NaN NaN 0.277854 0.251999 NaN NaN

1 NaN NaN 0.473737 0.542803 NaN NaN

2 NaN NaN 0.651877 0.724555 NaN NaN

3 NaN NaN 0.742321 0.83197 NaN NaN

4 NaN NaN 0.776081 0.848419 NaN NaN

5 NaN NaN 0.830153 0.892857 NaN NaN

6 NaN NaN 0.839399 0.894039 NaN NaN

7 NaN NaN 0.869706 0.914304 NaN NaN

8 NaN NaN 0.882656 0.925391 NaN NaN

9 NaN NaN 0.903194 0.951018 NaN NaN

10 NaN NaN 0.910305 0.941567 NaN NaN

11 NaN NaN 0.919257 0.959833 NaN NaN

12 NaN NaN 0.923687 0.96365 NaN NaN

13 NaN NaN 0.934115 0.961923 NaN NaN

14 NaN NaN 0.928253 0.96365 NaN NaN

15 NaN NaN 0.936796 0.96574 NaN NaN

16 NaN NaN 0.942794 0.970102 NaN NaN

17 NaN NaN 0.944089 0.969829 NaN NaN

18 NaN NaN 0.94293 0.972465 NaN NaN

19 NaN NaN 0.949041 0.973646 NaN NaN

20 NaN NaN 0.949677 0.973101 NaN NaN

21 NaN NaN 0.935751 0.955107 NaN NaN

22 NaN NaN 0.952449 0.973646 NaN NaN

23 NaN NaN 0.953085 0.97619 NaN NaN

24 NaN NaN 0.958879 0.979916 NaN NaN

25 NaN NaN 0.959333 0.980189 NaN NaN

26 NaN NaN 0.960492 0.977463 NaN NaN

27 NaN NaN 0.966058 0.984824 NaN NaN

28 NaN NaN 0.957425 0.976372 NaN NaN

29 NaN NaN 0.959606 0.976009 NaN NaN

30 NaN NaN 0.964195 0.985642 NaN NaN

31 NaN NaN 0.964626 0.985551 NaN NaN

32 NaN NaN 0.96424 0.985187 NaN NaN

33 NaN NaN 0.961469 0.980825 NaN NaN

34 NaN NaN 0.964967 0.985369 NaN NaN

35 NaN NaN 0.970306 0.98655 NaN NaN

36 NaN NaN 0.967489 0.978281 NaN NaN

37 NaN NaN 0.972146 0.987913 NaN NaN

38 NaN NaN 0.968284 0.985642 NaN NaN

39 NaN NaN 0.966898 NaN NaN NaN

evaluating on test set...

Accuracy on test images: 0.987005

epoch 39 accuracy on test set is: 0.9870047255543438

evaluating on test set takes 16 seconds.

shallow_train shallow_test scratch_train scratch_test deep_train deep_test

0 NaN NaN 0.277854 0.251999 NaN NaN

1 NaN NaN 0.473737 0.542803 NaN NaN

2 NaN NaN 0.651877 0.724555 NaN NaN

3 NaN NaN 0.742321 0.83197 NaN NaN

4 NaN NaN 0.776081 0.848419 NaN NaN

5 NaN NaN 0.830153 0.892857 NaN NaN

6 NaN NaN 0.839399 0.894039 NaN NaN

7 NaN NaN 0.869706 0.914304 NaN NaN

8 NaN NaN 0.882656 0.925391 NaN NaN

9 NaN NaN 0.903194 0.951018 NaN NaN

10 NaN NaN 0.910305 0.941567 NaN NaN

11 NaN NaN 0.919257 0.959833 NaN NaN

12 NaN NaN 0.923687 0.96365 NaN NaN

13 NaN NaN 0.934115 0.961923 NaN NaN

14 NaN NaN 0.928253 0.96365 NaN NaN

15 NaN NaN 0.936796 0.96574 NaN NaN

16 NaN NaN 0.942794 0.970102 NaN NaN

17 NaN NaN 0.944089 0.969829 NaN NaN

18 NaN NaN 0.94293 0.972465 NaN NaN

19 NaN NaN 0.949041 0.973646 NaN NaN

20 NaN NaN 0.949677 0.973101 NaN NaN

21 NaN NaN 0.935751 0.955107 NaN NaN

22 NaN NaN 0.952449 0.973646 NaN NaN

23 NaN NaN 0.953085 0.97619 NaN NaN

24 NaN NaN 0.958879 0.979916 NaN NaN

25 NaN NaN 0.959333 0.980189 NaN NaN

26 NaN NaN 0.960492 0.977463 NaN NaN

27 NaN NaN 0.966058 0.984824 NaN NaN

28 NaN NaN 0.957425 0.976372 NaN NaN

29 NaN NaN 0.959606 0.976009 NaN NaN

30 NaN NaN 0.964195 0.985642 NaN NaN

31 NaN NaN 0.964626 0.985551 NaN NaN

32 NaN NaN 0.96424 0.985187 NaN NaN

33 NaN NaN 0.961469 0.980825 NaN NaN

34 NaN NaN 0.964967 0.985369 NaN NaN

35 NaN NaN 0.970306 0.98655 NaN NaN

36 NaN NaN 0.967489 0.978281 NaN NaN

37 NaN NaN 0.972146 0.987913 NaN NaN

38 NaN NaN 0.968284 0.985642 NaN NaN

39 NaN NaN 0.966898 0.987005 NaN NaN

epoch 39 takes 317 seconds.

Finished Training

Evaluating...

Accuracy on test images: 0.987005


Total time for training and evaluation 13133.420985460281

FINISHED

RETRAINING


Targeting alexnet with 39 classes

------------------------------------------

Checking layer size difference between torchvision.models and torch.utils.model_zoo...


for layer classifier.6.weight torchvision.models has size 39 and model_zoo has size 1000


for layer classifier.6.bias torchvision.models has size 39 and model_zoo has size 1000


Replacing the following state from initialized alexnet : ['classifier.6.weight', 'classifier.6.bias']

Resizing input images to max of (224, 224)

Transfering models to GPU(s)

Retraining...

/home/administrator/anaconda3/envs/torch_nvidia_390/lib/python3.7/site-packages/torchvision/transforms/transforms.py:562: UserWarning: The use of the transforms.RandomSizedCrop transform is deprecated, please use transforms.RandomResizedCrop instead.

warnings.warn("The use of the transforms.RandomSizedCrop transform is deprecated, " +

/home/administrator/anaconda3/envs/torch_nvidia_390/lib/python3.7/site-packages/torchvision/transforms/transforms.py:187: UserWarning: The use of the transforms.Scale transform is deprecated, please use transforms.Resize instead.

warnings.warn("The use of the transforms.Scale transform is deprecated, " +

[1, 30] loss: 2.746

[1, 60] loss: 1.689

[1, 90] loss: 1.569

[1, 120] loss: 1.318

[1, 150] loss: 1.206

[1, 180] loss: 1.122

[1, 210] loss: 1.065

[1, 240] loss: 0.950

[1, 270] loss: 1.166

[1, 300] loss: 0.945

[1, 330] loss: 0.921

[1, 360] loss: 0.931

[1, 390] loss: 0.956

[1, 420] loss: 0.933

[1, 450] loss: 0.885

[1, 480] loss: 0.854

[1, 510] loss: 0.933

[1, 540] loss: 0.755

[1, 570] loss: 0.812

[1, 600] loss: 0.888

[1, 630] loss: 0.899

[1, 660] loss: 0.811

[1, 690] loss: 0.794

[1, 720] loss: 0.811

[1, 750] loss: 0.782

[1, 780] loss: 0.849

[1, 810] loss: 0.711

[1, 840] loss: 0.784

[1, 870] loss: 0.769

[1, 900] loss: 0.798

[1, 930] loss: 0.783

[1, 960] loss: 0.868

[1, 990] loss: 0.816

[1, 1020] loss: 0.732

[1, 1050] loss: 0.826

[1, 1080] loss: 0.734

[1, 1110] loss: 0.812

[1, 1140] loss: 0.715

[1, 1170] loss: 0.722

[1, 1200] loss: 0.731

[1, 1230] loss: 0.675

[1, 1260] loss: 0.773

[1, 1290] loss: 0.687

[1, 1320] loss: 0.734

[1, 1350] loss: 0.627

[1, 1380] loss: 0.660

[1, 1410] loss: 0.787

[1, 1440] loss: 0.676

[1, 1470] loss: 0.706

[1, 1500] loss: 0.744

[1, 1530] loss: 0.698

[1, 1560] loss: 0.724

[1, 1590] loss: 0.671

[1, 1620] loss: 0.703

[1, 1650] loss: 0.645

[1, 1680] loss: 0.742

[1, 1710] loss: 0.681

[1, 1740] loss: 0.738

[1, 1770] loss: 0.709

[1, 1800] loss: 0.696

[1, 1830] loss: 0.697

[1, 1860] loss: 0.672

[1, 1890] loss: 0.721

[1, 1920] loss: 0.731

[1, 1950] loss: 0.700

[1, 1980] loss: 0.620

[1, 2010] loss: 0.695

[1, 2040] loss: 0.691

[1, 2070] loss: 0.707

[1, 2100] loss: 0.590

[1, 2130] loss: 0.709

[1, 2160] loss: 0.760

[1, 2190] loss: 0.699

ovft_intermediate_models/epoch0_shallow.pt saved.


evaluating on training set...

Accuracy on test images: 0.849396

epoch 0 accuracy on train set is: 0.8493956743002544

evaluating on training set takes 64 seconds.

shallow_train shallow_test scratch_train scratch_test deep_train deep_test

0 0.849396 NaN 0.277854 0.251999 NaN NaN

1 NaN NaN 0.473737 0.542803 NaN NaN

2 NaN NaN 0.651877 0.724555 NaN NaN

3 NaN NaN 0.742321 0.83197 NaN NaN

4 NaN NaN 0.776081 0.848419 NaN NaN

5 NaN NaN 0.830153 0.892857 NaN NaN

6 NaN NaN 0.839399 0.894039 NaN NaN

7 NaN NaN 0.869706 0.914304 NaN NaN

8 NaN NaN 0.882656 0.925391 NaN NaN

9 NaN NaN 0.903194 0.951018 NaN NaN

10 NaN NaN 0.910305 0.941567 NaN NaN

11 NaN NaN 0.919257 0.959833 NaN NaN

12 NaN NaN 0.923687 0.96365 NaN NaN

13 NaN NaN 0.934115 0.961923 NaN NaN

14 NaN NaN 0.928253 0.96365 NaN NaN

15 NaN NaN 0.936796 0.96574 NaN NaN

16 NaN NaN 0.942794 0.970102 NaN NaN

17 NaN NaN 0.944089 0.969829 NaN NaN

18 NaN NaN 0.94293 0.972465 NaN NaN

19 NaN NaN 0.949041 0.973646 NaN NaN

20 NaN NaN 0.949677 0.973101 NaN NaN

21 NaN NaN 0.935751 0.955107 NaN NaN

22 NaN NaN 0.952449 0.973646 NaN NaN

23 NaN NaN 0.953085 0.97619 NaN NaN

24 NaN NaN 0.958879 0.979916 NaN NaN

25 NaN NaN 0.959333 0.980189 NaN NaN

26 NaN NaN 0.960492 0.977463 NaN NaN

27 NaN NaN 0.966058 0.984824 NaN NaN

28 NaN NaN 0.957425 0.976372 NaN NaN

29 NaN NaN 0.959606 0.976009 NaN NaN

30 NaN NaN 0.964195 0.985642 NaN NaN

31 NaN NaN 0.964626 0.985551 NaN NaN

32 NaN NaN 0.96424 0.985187 NaN NaN

33 NaN NaN 0.961469 0.980825 NaN NaN

34 NaN NaN 0.964967 0.985369 NaN NaN

35 NaN NaN 0.970306 0.98655 NaN NaN

36 NaN NaN 0.967489 0.978281 NaN NaN

37 NaN NaN 0.972146 0.987913 NaN NaN

38 NaN NaN 0.968284 0.985642 NaN NaN

39 NaN NaN 0.966898 0.987005 NaN NaN

evaluating on test set...

Accuracy on test images: 0.875682

epoch 0 accuracy on test set is: 0.8756815703380589

evaluating on test set takes 16 seconds.

shallow_train shallow_test scratch_train scratch_test deep_train deep_test

0 0.849396 0.875682 0.277854 0.251999 NaN NaN

1 NaN NaN 0.473737 0.542803 NaN NaN

2 NaN NaN 0.651877 0.724555 NaN NaN

3 NaN NaN 0.742321 0.83197 NaN NaN

4 NaN NaN 0.776081 0.848419 NaN NaN

5 NaN NaN 0.830153 0.892857 NaN NaN

6 NaN NaN 0.839399 0.894039 NaN NaN

7 NaN NaN 0.869706 0.914304 NaN NaN

8 NaN NaN 0.882656 0.925391 NaN NaN

9 NaN NaN 0.903194 0.951018 NaN NaN

10 NaN NaN 0.910305 0.941567 NaN NaN

11 NaN NaN 0.919257 0.959833 NaN NaN

12 NaN NaN 0.923687 0.96365 NaN NaN

13 NaN NaN 0.934115 0.961923 NaN NaN

14 NaN NaN 0.928253 0.96365 NaN NaN

15 NaN NaN 0.936796 0.96574 NaN NaN

16 NaN NaN 0.942794 0.970102 NaN NaN

17 NaN NaN 0.944089 0.969829 NaN NaN

18 NaN NaN 0.94293 0.972465 NaN NaN

19 NaN NaN 0.949041 0.973646 NaN NaN

20 NaN NaN 0.949677 0.973101 NaN NaN

21 NaN NaN 0.935751 0.955107 NaN NaN

22 NaN NaN 0.952449 0.973646 NaN NaN

23 NaN NaN 0.953085 0.97619 NaN NaN

24 NaN NaN 0.958879 0.979916 NaN NaN

25 NaN NaN 0.959333 0.980189 NaN NaN

26 NaN NaN 0.960492 0.977463 NaN NaN

27 NaN NaN 0.966058 0.984824 NaN NaN

28 NaN NaN 0.957425 0.976372 NaN NaN

29 NaN NaN 0.959606 0.976009 NaN NaN

30 NaN NaN 0.964195 0.985642 NaN NaN

31 NaN NaN 0.964626 0.985551 NaN NaN

32 NaN NaN 0.96424 0.985187 NaN NaN

33 NaN NaN 0.961469 0.980825 NaN NaN

34 NaN NaN 0.964967 0.985369 NaN NaN

35 NaN NaN 0.970306 0.98655 NaN NaN

36 NaN NaN 0.967489 0.978281 NaN NaN

37 NaN NaN 0.972146 0.987913 NaN NaN

38 NaN NaN 0.968284 0.985642 NaN NaN

39 NaN NaN 0.966898 0.987005 NaN NaN

epoch 0 takes 149 seconds.

[2, 30] loss: 0.611

[2, 60] loss: 0.692

[2, 90] loss: 0.733

[2, 120] loss: 0.643

[2, 150] loss: 0.654

[2, 180] loss: 0.632

[2, 210] loss: 0.740

[2, 240] loss: 0.664

[2, 270] loss: 0.745

[2, 300] loss: 0.740

[2, 330] loss: 0.638

[2, 360] loss: 0.630

[2, 390] loss: 0.595

[2, 420] loss: 0.666

[2, 450] loss: 0.576

[2, 480] loss: 0.638

[2, 510] loss: 0.684

[2, 540] loss: 0.662

[2, 570] loss: 0.618

[2, 600] loss: 0.611

[2, 630] loss: 0.777

[2, 660] loss: 0.674

[2, 690] loss: 0.638

[2, 720] loss: 0.589

[2, 750] loss: 0.613

[2, 780] loss: 0.579

[2, 810] loss: 0.593

[2, 840] loss: 0.691

[2, 870] loss: 0.680

[2, 900] loss: 0.632

[2, 930] loss: 0.651

[2, 960] loss: 0.730

[2, 990] loss: 0.615

[2, 1020] loss: 0.653

[2, 1050] loss: 0.601

[2, 1080] loss: 0.606

[2, 1110] loss: 0.715

[2, 1140] loss: 0.643

[2, 1170] loss: 0.686

[2, 1200] loss: 0.643

[2, 1230] loss: 0.665

[2, 1260] loss: 0.629

[2, 1290] loss: 0.605

[2, 1320] loss: 0.569

[2, 1350] loss: 0.612

[2, 1380] loss: 0.612

[2, 1410] loss: 0.573

[2, 1440] loss: 0.588

[2, 1470] loss: 0.592

[2, 1500] loss: 0.580

[2, 1530] loss: 0.721

[2, 1560] loss: 0.660

[2, 1590] loss: 0.600

[2, 1620] loss: 0.741

[2, 1650] loss: 0.634

[2, 1680] loss: 0.590

[2, 1710] loss: 0.597

[2, 1740] loss: 0.687

[2, 1770] loss: 0.584

[2, 1800] loss: 0.592

[2, 1830] loss: 0.720

[2, 1860] loss: 0.564

[2, 1890] loss: 0.637

[2, 1920] loss: 0.669

[2, 1950] loss: 0.622

[2, 1980] loss: 0.636

[2, 2010] loss: 0.578

[2, 2040] loss: 0.633

[2, 2070] loss: 0.540

[2, 2100] loss: 0.535

[2, 2130] loss: 0.596

[2, 2160] loss: 0.660

[2, 2190] loss: 0.574

ovft_intermediate_models/epoch1_shallow.pt saved.


evaluating on training set...

Accuracy on test images: 0.868889

epoch 1 accuracy on train set is: 0.8688885859687386

evaluating on training set takes 64 seconds.

shallow_train shallow_test scratch_train scratch_test deep_train deep_test

0 0.849396 0.875682 0.277854 0.251999 NaN NaN

1 0.868889 NaN 0.473737 0.542803 NaN NaN

2 NaN NaN 0.651877 0.724555 NaN NaN

3 NaN NaN 0.742321 0.83197 NaN NaN

4 NaN NaN 0.776081 0.848419 NaN NaN

5 NaN NaN 0.830153 0.892857 NaN NaN

6 NaN NaN 0.839399 0.894039 NaN NaN

7 NaN NaN 0.869706 0.914304 NaN NaN

8 NaN NaN 0.882656 0.925391 NaN NaN

9 NaN NaN 0.903194 0.951018 NaN NaN

10 NaN NaN 0.910305 0.941567 NaN NaN

11 NaN NaN 0.919257 0.959833 NaN NaN

12 NaN NaN 0.923687 0.96365 NaN NaN

13 NaN NaN 0.934115 0.961923 NaN NaN

14 NaN NaN 0.928253 0.96365 NaN NaN

15 NaN NaN 0.936796 0.96574 NaN NaN

16 NaN NaN 0.942794 0.970102 NaN NaN

17 NaN NaN 0.944089 0.969829 NaN NaN

18 NaN NaN 0.94293 0.972465 NaN NaN

19 NaN NaN 0.949041 0.973646 NaN NaN

20 NaN NaN 0.949677 0.973101 NaN NaN

21 NaN NaN 0.935751 0.955107 NaN NaN

22 NaN NaN 0.952449 0.973646 NaN NaN

23 NaN NaN 0.953085 0.97619 NaN NaN

24 NaN NaN 0.958879 0.979916 NaN NaN

25 NaN NaN 0.959333 0.980189 NaN NaN

26 NaN NaN 0.960492 0.977463 NaN NaN

27 NaN NaN 0.966058 0.984824 NaN NaN

28 NaN NaN 0.957425 0.976372 NaN NaN

29 NaN NaN 0.959606 0.976009 NaN NaN

30 NaN NaN 0.964195 0.985642 NaN NaN

31 NaN NaN 0.964626 0.985551 NaN NaN

32 NaN NaN 0.96424 0.985187 NaN NaN

33 NaN NaN 0.961469 0.980825 NaN NaN

34 NaN NaN 0.964967 0.985369 NaN NaN

35 NaN NaN 0.970306 0.98655 NaN NaN

36 NaN NaN 0.967489 0.978281 NaN NaN

37 NaN NaN 0.972146 0.987913 NaN NaN

38 NaN NaN 0.968284 0.985642 NaN NaN

39 NaN NaN 0.966898 0.987005 NaN NaN

evaluating on test set...

Accuracy on test images: 0.891948

epoch 1 accuracy on test set is: 0.8919483824063976

evaluating on test set takes 16 seconds.

shallow_train shallow_test scratch_train scratch_test deep_train deep_test

0 0.849396 0.875682 0.277854 0.251999 NaN NaN

1 0.868889 0.891948 0.473737 0.542803 NaN NaN

2 NaN NaN 0.651877 0.724555 NaN NaN

3 NaN NaN 0.742321 0.83197 NaN NaN

4 NaN NaN 0.776081 0.848419 NaN NaN

5 NaN NaN 0.830153 0.892857 NaN NaN

6 NaN NaN 0.839399 0.894039 NaN NaN

7 NaN NaN 0.869706 0.914304 NaN NaN

8 NaN NaN 0.882656 0.925391 NaN NaN

9 NaN NaN 0.903194 0.951018 NaN NaN

10 NaN NaN 0.910305 0.941567 NaN NaN

11 NaN NaN 0.919257 0.959833 NaN NaN

12 NaN NaN 0.923687 0.96365 NaN NaN

13 NaN NaN 0.934115 0.961923 NaN NaN

14 NaN NaN 0.928253 0.96365 NaN NaN

15 NaN NaN 0.936796 0.96574 NaN NaN

16 NaN NaN 0.942794 0.970102 NaN NaN

17 NaN NaN 0.944089 0.969829 NaN NaN

18 NaN NaN 0.94293 0.972465 NaN NaN

19 NaN NaN 0.949041 0.973646 NaN NaN

20 NaN NaN 0.949677 0.973101 NaN NaN

21 NaN NaN 0.935751 0.955107 NaN NaN

22 NaN NaN 0.952449 0.973646 NaN NaN

23 NaN NaN 0.953085 0.97619 NaN NaN

24 NaN NaN 0.958879 0.979916 NaN NaN

25 NaN NaN 0.959333 0.980189 NaN NaN

26 NaN NaN 0.960492 0.977463 NaN NaN

27 NaN NaN 0.966058 0.984824 NaN NaN

28 NaN NaN 0.957425 0.976372 NaN NaN

29 NaN NaN 0.959606 0.976009 NaN NaN

30 NaN NaN 0.964195 0.985642 NaN NaN

31 NaN NaN 0.964626 0.985551 NaN NaN

32 NaN NaN 0.96424 0.985187 NaN NaN

33 NaN NaN 0.961469 0.980825 NaN NaN

34 NaN NaN 0.964967 0.985369 NaN NaN

35 NaN NaN 0.970306 0.98655 NaN NaN

36 NaN NaN 0.967489 0.978281 NaN NaN

37 NaN NaN 0.972146 0.987913 NaN NaN

38 NaN NaN 0.968284 0.985642 NaN NaN

39 NaN NaN 0.966898 0.987005 NaN NaN

epoch 1 takes 149 seconds.

[3, 30] loss: 0.620

[3, 60] loss: 0.697

[3, 90] loss: 0.621

[3, 120] loss: 0.583

[3, 150] loss: 0.632

[3, 180] loss: 0.606

[3, 210] loss: 0.593

[3, 240] loss: 0.552

[3, 270] loss: 0.606

[3, 300] loss: 0.649

[3, 330] loss: 0.602

[3, 360] loss: 0.647

[3, 390] loss: 0.579

[3, 420] loss: 0.618

[3, 450] loss: 0.637

[3, 480] loss: 0.612

[3, 510] loss: 0.638

[3, 540] loss: 0.539

[3, 570] loss: 0.663

[3, 600] loss: 0.591

[3, 630] loss: 0.505

[3, 660] loss: 0.594

[3, 690] loss: 0.573

[3, 720] loss: 0.620

[3, 750] loss: 0.560

[3, 780] loss: 0.624

[3, 810] loss: 0.571

[3, 840] loss: 0.616

[3, 870] loss: 0.640

[3, 900] loss: 0.519

[3, 930] loss: 0.636

[3, 960] loss: 0.526

[3, 990] loss: 0.580

[3, 1020] loss: 0.523

[3, 1050] loss: 0.558

[3, 1080] loss: 0.601

[3, 1110] loss: 0.604

[3, 1140] loss: 0.665

[3, 1170] loss: 0.601

[3, 1200] loss: 0.707

[3, 1230] loss: 0.644

[3, 1260] loss: 0.588

[3, 1290] loss: 0.586

[3, 1320] loss: 0.580

[3, 1350] loss: 0.557

[3, 1380] loss: 0.588

[3, 1410] loss: 0.701

[3, 1440] loss: 0.551

[3, 1470] loss: 0.627

[3, 1500] loss: 0.587

[3, 1530] loss: 0.625

[3, 1560] loss: 0.606

[3, 1590] loss: 0.550

[3, 1620] loss: 0.578

[3, 1650] loss: 0.565

[3, 1680] loss: 0.595

[3, 1710] loss: 0.599

[3, 1740] loss: 0.656

[3, 1770] loss: 0.632

[3, 1800] loss: 0.567

[3, 1830] loss: 0.566

[3, 1860] loss: 0.500

[3, 1890] loss: 0.559

[3, 1920] loss: 0.562

[3, 1950] loss: 0.574

[3, 1980] loss: 0.624

[3, 2010] loss: 0.589

[3, 2040] loss: 0.576

[3, 2070] loss: 0.596

[3, 2100] loss: 0.630

[3, 2130] loss: 0.655

[3, 2160] loss: 0.646

[3, 2190] loss: 0.647

ovft_intermediate_models/epoch2_shallow.pt saved.


evaluating on training set...

Accuracy on test images: 0.877249

epoch 2 accuracy on train set is: 0.8772491821155943

evaluating on training set takes 64 seconds.

shallow_train shallow_test scratch_train scratch_test deep_train deep_test

0 0.849396 0.875682 0.277854 0.251999 NaN NaN

1 0.868889 0.891948 0.473737 0.542803 NaN NaN

2 0.877249 NaN 0.651877 0.724555 NaN NaN

3 NaN NaN 0.742321 0.83197 NaN NaN

4 NaN NaN 0.776081 0.848419 NaN NaN

5 NaN NaN 0.830153 0.892857 NaN NaN

6 NaN NaN 0.839399 0.894039 NaN NaN

7 NaN NaN 0.869706 0.914304 NaN NaN

8 NaN NaN 0.882656 0.925391 NaN NaN

9 NaN NaN 0.903194 0.951018 NaN NaN

10 NaN NaN 0.910305 0.941567 NaN NaN

11 NaN NaN 0.919257 0.959833 NaN NaN

12 NaN NaN 0.923687 0.96365 NaN NaN

13 NaN NaN 0.934115 0.961923 NaN NaN

14 NaN NaN 0.928253 0.96365 NaN NaN

15 NaN NaN 0.936796 0.96574 NaN NaN

16 NaN NaN 0.942794 0.970102 NaN NaN

17 NaN NaN 0.944089 0.969829 NaN NaN

18 NaN NaN 0.94293 0.972465 NaN NaN

19 NaN NaN 0.949041 0.973646 NaN NaN

20 NaN NaN 0.949677 0.973101 NaN NaN

21 NaN NaN 0.935751 0.955107 NaN NaN

22 NaN NaN 0.952449 0.973646 NaN NaN

23 NaN NaN 0.953085 0.97619 NaN NaN

24 NaN NaN 0.958879 0.979916 NaN NaN

25 NaN NaN 0.959333 0.980189 NaN NaN

26 NaN NaN 0.960492 0.977463 NaN NaN

27 NaN NaN 0.966058 0.984824 NaN NaN

28 NaN NaN 0.957425 0.976372 NaN NaN

29 NaN NaN 0.959606 0.976009 NaN NaN

30 NaN NaN 0.964195 0.985642 NaN NaN

31 NaN NaN 0.964626 0.985551 NaN NaN

32 NaN NaN 0.96424 0.985187 NaN NaN

33 NaN NaN 0.961469 0.980825 NaN NaN

34 NaN NaN 0.964967 0.985369 NaN NaN

35 NaN NaN 0.970306 0.98655 NaN NaN

36 NaN NaN 0.967489 0.978281 NaN NaN

37 NaN NaN 0.972146 0.987913 NaN NaN

38 NaN NaN 0.968284 0.985642 NaN NaN

39 NaN NaN 0.966898 0.987005 NaN NaN

evaluating on test set...

Accuracy on test images: 0.909760

epoch 2 accuracy on test set is: 0.9097600872410033

evaluating on test set takes 16 seconds.

shallow_train shallow_test scratch_train scratch_test deep_train deep_test

0 0.849396 0.875682 0.277854 0.251999 NaN NaN

1 0.868889 0.891948 0.473737 0.542803 NaN NaN

2 0.877249 0.90976 0.651877 0.724555 NaN NaN

3 NaN NaN 0.742321 0.83197 NaN NaN

4 NaN NaN 0.776081 0.848419 NaN NaN

5 NaN NaN 0.830153 0.892857 NaN NaN

6 NaN NaN 0.839399 0.894039 NaN NaN

7 NaN NaN 0.869706 0.914304 NaN NaN

8 NaN NaN 0.882656 0.925391 NaN NaN

9 NaN NaN 0.903194 0.951018 NaN NaN

10 NaN NaN 0.910305 0.941567 NaN NaN

11 NaN NaN 0.919257 0.959833 NaN NaN

12 NaN NaN 0.923687 0.96365 NaN NaN

13 NaN NaN 0.934115 0.961923 NaN NaN

14 NaN NaN 0.928253 0.96365 NaN NaN

15 NaN NaN 0.936796 0.96574 NaN NaN

16 NaN NaN 0.942794 0.970102 NaN NaN

17 NaN NaN 0.944089 0.969829 NaN NaN

18 NaN NaN 0.94293 0.972465 NaN NaN

19 NaN NaN 0.949041 0.973646 NaN NaN

20 NaN NaN 0.949677 0.973101 NaN NaN

21 NaN NaN 0.935751 0.955107 NaN NaN

22 NaN NaN 0.952449 0.973646 NaN NaN

23 NaN NaN 0.953085 0.97619 NaN NaN

24 NaN NaN 0.958879 0.979916 NaN NaN

25 NaN NaN 0.959333 0.980189 NaN NaN

26 NaN NaN 0.960492 0.977463 NaN NaN

27 NaN NaN 0.966058 0.984824 NaN NaN

28 NaN NaN 0.957425 0.976372 NaN NaN

29 NaN NaN 0.959606 0.976009 NaN NaN

30 NaN NaN 0.964195 0.985642 NaN NaN

31 NaN NaN 0.964626 0.985551 NaN NaN

32 NaN NaN 0.96424 0.985187 NaN NaN

33 NaN NaN 0.961469 0.980825 NaN NaN

34 NaN NaN 0.964967 0.985369 NaN NaN

35 NaN NaN 0.970306 0.98655 NaN NaN

36 NaN NaN 0.967489 0.978281 NaN NaN

37 NaN NaN 0.972146 0.987913 NaN NaN

38 NaN NaN 0.968284 0.985642 NaN NaN

39 NaN NaN 0.966898 0.987005 NaN NaN

epoch 2 takes 149 seconds.

[4, 30] loss: 0.536

[4, 60] loss: 0.553

[4, 90] loss: 0.565

[4, 120] loss: 0.535

[4, 150] loss: 0.570

[4, 180] loss: 0.602

[4, 210] loss: 0.551

[4, 240] loss: 0.674

[4, 270] loss: 0.572

[4, 300] loss: 0.664

[4, 330] loss: 0.580

[4, 360] loss: 0.642

[4, 390] loss: 0.619

[4, 420] loss: 0.527

[4, 450] loss: 0.543

[4, 480] loss: 0.560

[4, 510] loss: 0.614

[4, 540] loss: 0.595

[4, 570] loss: 0.616

[4, 600] loss: 0.596

[4, 630] loss: 0.611

[4, 660] loss: 0.605

[4, 690] loss: 0.566

[4, 720] loss: 0.488

[4, 750] loss: 0.632

[4, 780] loss: 0.558

[4, 810] loss: 0.561

[4, 840] loss: 0.623

[4, 870] loss: 0.466

[4, 900] loss: 0.537

[4, 930] loss: 0.455

[4, 960] loss: 0.597

[4, 990] loss: 0.606

[4, 1020] loss: 0.564

[4, 1050] loss: 0.598

[4, 1080] loss: 0.615

[4, 1110] loss: 0.628

[4, 1140] loss: 0.524

[4, 1170] loss: 0.585

[4, 1200] loss: 0.498

[4, 1230] loss: 0.564

[4, 1260] loss: 0.605

[4, 1290] loss: 0.549

[4, 1320] loss: 0.602

[4, 1350] loss: 0.575

[4, 1380] loss: 0.579

[4, 1410] loss: 0.647

[4, 1440] loss: 0.542

[4, 1470] loss: 0.615

[4, 1500] loss: 0.574

[4, 1530] loss: 0.674

[4, 1560] loss: 0.524

[4, 1590] loss: 0.530

[4, 1620] loss: 0.583

[4, 1650] loss: 0.637

[4, 1680] loss: 0.596

[4, 1710] loss: 0.584

[4, 1740] loss: 0.589

[4, 1770] loss: 0.504

[4, 1800] loss: 0.481

[4, 1830] loss: 0.621

[4, 1860] loss: 0.569

[4, 1890] loss: 0.545

[4, 1920] loss: 0.550

[4, 1950] loss: 0.486

[4, 1980] loss: 0.574

[4, 2010] loss: 0.539

[4, 2040] loss: 0.524

[4, 2070] loss: 0.546

[4, 2100] loss: 0.501

[4, 2130] loss: 0.582

[4, 2160] loss: 0.513

[4, 2190] loss: 0.565

ovft_intermediate_models/epoch3_shallow.pt saved.


evaluating on training set...

Accuracy on test images: 0.883224

epoch 3 accuracy on train set is: 0.8832242820792439

evaluating on training set takes 63 seconds.

shallow_train shallow_test scratch_train scratch_test deep_train deep_test

0 0.849396 0.875682 0.277854 0.251999 NaN NaN

1 0.868889 0.891948 0.473737 0.542803 NaN NaN

2 0.877249 0.90976 0.651877 0.724555 NaN NaN

3 0.883224 NaN 0.742321 0.83197 NaN NaN

4 NaN NaN 0.776081 0.848419 NaN NaN

5 NaN NaN 0.830153 0.892857 NaN NaN

6 NaN NaN 0.839399 0.894039 NaN NaN

7 NaN NaN 0.869706 0.914304 NaN NaN

8 NaN NaN 0.882656 0.925391 NaN NaN

9 NaN NaN 0.903194 0.951018 NaN NaN

10 NaN NaN 0.910305 0.941567 NaN NaN

11 NaN NaN 0.919257 0.959833 NaN NaN

12 NaN NaN 0.923687 0.96365 NaN NaN

13 NaN NaN 0.934115 0.961923 NaN NaN

14 NaN NaN 0.928253 0.96365 NaN NaN

15 NaN NaN 0.936796 0.96574 NaN NaN

16 NaN NaN 0.942794 0.970102 NaN NaN

17 NaN NaN 0.944089 0.969829 NaN NaN

18 NaN NaN 0.94293 0.972465 NaN NaN

19 NaN NaN 0.949041 0.973646 NaN NaN

20 NaN NaN 0.949677 0.973101 NaN NaN

21 NaN NaN 0.935751 0.955107 NaN NaN

22 NaN NaN 0.952449 0.973646 NaN NaN

23 NaN NaN 0.953085 0.97619 NaN NaN

24 NaN NaN 0.958879 0.979916 NaN NaN

25 NaN NaN 0.959333 0.980189 NaN NaN

26 NaN NaN 0.960492 0.977463 NaN NaN

27 NaN NaN 0.966058 0.984824 NaN NaN

28 NaN NaN 0.957425 0.976372 NaN NaN

29 NaN NaN 0.959606 0.976009 NaN NaN

30 NaN NaN 0.964195 0.985642 NaN NaN

31 NaN NaN 0.964626 0.985551 NaN NaN

32 NaN NaN 0.96424 0.985187 NaN NaN

33 NaN NaN 0.961469 0.980825 NaN NaN

34 NaN NaN 0.964967 0.985369 NaN NaN

35 NaN NaN 0.970306 0.98655 NaN NaN

36 NaN NaN 0.967489 0.978281 NaN NaN

37 NaN NaN 0.972146 0.987913 NaN NaN

38 NaN NaN 0.968284 0.985642 NaN NaN

39 NaN NaN 0.966898 0.987005 NaN NaN

evaluating on test set...

Accuracy on test images: 0.895220

epoch 3 accuracy on test set is: 0.8952199200290804

evaluating on test set takes 16 seconds.

shallow_train shallow_test scratch_train scratch_test deep_train deep_test

0 0.849396 0.875682 0.277854 0.251999 NaN NaN

1 0.868889 0.891948 0.473737 0.542803 NaN NaN

2 0.877249 0.90976 0.651877 0.724555 NaN NaN

3 0.883224 0.89522 0.742321 0.83197 NaN NaN

4 NaN NaN 0.776081 0.848419 NaN NaN

5 NaN NaN 0.830153 0.892857 NaN NaN

6 NaN NaN 0.839399 0.894039 NaN NaN

7 NaN NaN 0.869706 0.914304 NaN NaN

8 NaN NaN 0.882656 0.925391 NaN NaN

9 NaN NaN 0.903194 0.951018 NaN NaN

10 NaN NaN 0.910305 0.941567 NaN NaN

11 NaN NaN 0.919257 0.959833 NaN NaN

12 NaN NaN 0.923687 0.96365 NaN NaN

13 NaN NaN 0.934115 0.961923 NaN NaN

14 NaN NaN 0.928253 0.96365 NaN NaN

15 NaN NaN 0.936796 0.96574 NaN NaN

16 NaN NaN 0.942794 0.970102 NaN NaN

17 NaN NaN 0.944089 0.969829 NaN NaN

18 NaN NaN 0.94293 0.972465 NaN NaN

19 NaN NaN 0.949041 0.973646 NaN NaN

20 NaN NaN 0.949677 0.973101 NaN NaN

21 NaN NaN 0.935751 0.955107 NaN NaN

22 NaN NaN 0.952449 0.973646 NaN NaN

23 NaN NaN 0.953085 0.97619 NaN NaN

24 NaN NaN 0.958879 0.979916 NaN NaN

25 NaN NaN 0.959333 0.980189 NaN NaN

26 NaN NaN 0.960492 0.977463 NaN NaN

27 NaN NaN 0.966058 0.984824 NaN NaN

28 NaN NaN 0.957425 0.976372 NaN NaN

29 NaN NaN 0.959606 0.976009 NaN NaN

30 NaN NaN 0.964195 0.985642 NaN NaN

31 NaN NaN 0.964626 0.985551 NaN NaN

32 NaN NaN 0.96424 0.985187 NaN NaN

33 NaN NaN 0.961469 0.980825 NaN NaN

34 NaN NaN 0.964967 0.985369 NaN NaN

35 NaN NaN 0.970306 0.98655 NaN NaN

36 NaN NaN 0.967489 0.978281 NaN NaN

37 NaN NaN 0.972146 0.987913 NaN NaN

38 NaN NaN 0.968284 0.985642 NaN NaN

39 NaN NaN 0.966898 0.987005 NaN NaN

epoch 3 takes 148 seconds.

[5, 30] loss: 0.550

[5, 60] loss: 0.562

[5, 90] loss: 0.546

[5, 120] loss: 0.521

[5, 150] loss: 0.526

[5, 180] loss: 0.613

[5, 210] loss: 0.577

[5, 240] loss: 0.674

[5, 270] loss: 0.611

[5, 300] loss: 0.541

[5, 330] loss: 0.472

[5, 360] loss: 0.549

[5, 390] loss: 0.600

[5, 420] loss: 0.561

[5, 450] loss: 0.525

[5, 480] loss: 0.596

[5, 510] loss: 0.557

[5, 540] loss: 0.604

[5, 570] loss: 0.496

[5, 600] loss: 0.533

[5, 630] loss: 0.495

[5, 660] loss: 0.494

[5, 690] loss: 0.570

[5, 720] loss: 0.607

[5, 750] loss: 0.581

[5, 780] loss: 0.523

[5, 810] loss: 0.552

[5, 840] loss: 0.591

[5, 870] loss: 0.635

[5, 900] loss: 0.588

[5, 930] loss: 0.544

[5, 960] loss: 0.551

[5, 990] loss: 0.504

[5, 1020] loss: 0.536

[5, 1050] loss: 0.568

[5, 1080] loss: 0.536

[5, 1110] loss: 0.600

[5, 1140] loss: 0.513

[5, 1170] loss: 0.493

[5, 1200] loss: 0.654

[5, 1230] loss: 0.460

[5, 1260] loss: 0.541

[5, 1290] loss: 0.607

[5, 1320] loss: 0.535

[5, 1350] loss: 0.635

[5, 1380] loss: 0.585

[5, 1410] loss: 0.560

[5, 1440] loss: 0.582

[5, 1470] loss: 0.514

[5, 1500] loss: 0.528

[5, 1530] loss: 0.592

[5, 1560] loss: 0.552

[5, 1590] loss: 0.470

[5, 1620] loss: 0.601

[5, 1650] loss: 0.550

[5, 1680] loss: 0.587

[5, 1710] loss: 0.586

[5, 1740] loss: 0.538

[5, 1770] loss: 0.596

[5, 1800] loss: 0.610

[5, 1830] loss: 0.519

[5, 1860] loss: 0.588

[5, 1890] loss: 0.574

[5, 1920] loss: 0.594

[5, 1950] loss: 0.552

[5, 1980] loss: 0.563

[5, 2010] loss: 0.560

[5, 2040] loss: 0.597

[5, 2070] loss: 0.533

[5, 2100] loss: 0.607

[5, 2130] loss: 0.547

[5, 2160] loss: 0.532

[5, 2190] loss: 0.526

ovft_intermediate_models/epoch4_shallow.pt saved.


evaluating on training set...

Accuracy on test images: 0.883679

epoch 4 accuracy on train set is: 0.8836786623046166

evaluating on training set takes 63 seconds.

shallow_train shallow_test scratch_train scratch_test deep_train deep_test

0 0.849396 0.875682 0.277854 0.251999 NaN NaN

1 0.868889 0.891948 0.473737 0.542803 NaN NaN

2 0.877249 0.90976 0.651877 0.724555 NaN NaN

3 0.883224 0.89522 0.742321 0.83197 NaN NaN

4 0.883679 NaN 0.776081 0.848419 NaN NaN

5 NaN NaN 0.830153 0.892857 NaN NaN

6 NaN NaN 0.839399 0.894039 NaN NaN

7 NaN NaN 0.869706 0.914304 NaN NaN

8 NaN NaN 0.882656 0.925391 NaN NaN

9 NaN NaN 0.903194 0.951018 NaN NaN

10 NaN NaN 0.910305 0.941567 NaN NaN

11 NaN NaN 0.919257 0.959833 NaN NaN

12 NaN NaN 0.923687 0.96365 NaN NaN

13 NaN NaN 0.934115 0.961923 NaN NaN

14 NaN NaN 0.928253 0.96365 NaN NaN

15 NaN NaN 0.936796 0.96574 NaN NaN

16 NaN NaN 0.942794 0.970102 NaN NaN

17 NaN NaN 0.944089 0.969829 NaN NaN

18 NaN NaN 0.94293 0.972465 NaN NaN

19 NaN NaN 0.949041 0.973646 NaN NaN

20 NaN NaN 0.949677 0.973101 NaN NaN

21 NaN NaN 0.935751 0.955107 NaN NaN

22 NaN NaN 0.952449 0.973646 NaN NaN

23 NaN NaN 0.953085 0.97619 NaN NaN

24 NaN NaN 0.958879 0.979916 NaN NaN

25 NaN NaN 0.959333 0.980189 NaN NaN

26 NaN NaN 0.960492 0.977463 NaN NaN

27 NaN NaN 0.966058 0.984824 NaN NaN

28 NaN NaN 0.957425 0.976372 NaN NaN

29 NaN NaN 0.959606 0.976009 NaN NaN

30 NaN NaN 0.964195 0.985642 NaN NaN

31 NaN NaN 0.964626 0.985551 NaN NaN

32 NaN NaN 0.96424 0.985187 NaN NaN

33 NaN NaN 0.961469 0.980825 NaN NaN

34 NaN NaN 0.964967 0.985369 NaN NaN

35 NaN NaN 0.970306 0.98655 NaN NaN

36 NaN NaN 0.967489 0.978281 NaN NaN

37 NaN NaN 0.972146 0.987913 NaN NaN

38 NaN NaN 0.968284 0.985642 NaN NaN

39 NaN NaN 0.966898 0.987005 NaN NaN

evaluating on test set...

Accuracy on test images: 0.908033

epoch 4 accuracy on test set is: 0.9080334423845874

evaluating on test set takes 16 seconds.

shallow_train shallow_test scratch_train scratch_test deep_train deep_test

0 0.849396 0.875682 0.277854 0.251999 NaN NaN

1 0.868889 0.891948 0.473737 0.542803 NaN NaN

2 0.877249 0.90976 0.651877 0.724555 NaN NaN

3 0.883224 0.89522 0.742321 0.83197 NaN NaN

4 0.883679 0.908033 0.776081 0.848419 NaN NaN

5 NaN NaN 0.830153 0.892857 NaN NaN

6 NaN NaN 0.839399 0.894039 NaN NaN

7 NaN NaN 0.869706 0.914304 NaN NaN

8 NaN NaN 0.882656 0.925391 NaN NaN

9 NaN NaN 0.903194 0.951018 NaN NaN

10 NaN NaN 0.910305 0.941567 NaN NaN

11 NaN NaN 0.919257 0.959833 NaN NaN

12 NaN NaN 0.923687 0.96365 NaN NaN

13 NaN NaN 0.934115 0.961923 NaN NaN

14 NaN NaN 0.928253 0.96365 NaN NaN

15 NaN NaN 0.936796 0.96574 NaN NaN

16 NaN NaN 0.942794 0.970102 NaN NaN

17 NaN NaN 0.944089 0.969829 NaN NaN

18 NaN NaN 0.94293 0.972465 NaN NaN

19 NaN NaN 0.949041 0.973646 NaN NaN

20 NaN NaN 0.949677 0.973101 NaN NaN

21 NaN NaN 0.935751 0.955107 NaN NaN

22 NaN NaN 0.952449 0.973646 NaN NaN

23 NaN NaN 0.953085 0.97619 NaN NaN

24 NaN NaN 0.958879 0.979916 NaN NaN

25 NaN NaN 0.959333 0.980189 NaN NaN

26 NaN NaN 0.960492 0.977463 NaN NaN

27 NaN NaN 0.966058 0.984824 NaN NaN

28 NaN NaN 0.957425 0.976372 NaN NaN

29 NaN NaN 0.959606 0.976009 NaN NaN

30 NaN NaN 0.964195 0.985642 NaN NaN

31 NaN NaN 0.964626 0.985551 NaN NaN

32 NaN NaN 0.96424 0.985187 NaN NaN

33 NaN NaN 0.961469 0.980825 NaN NaN

34 NaN NaN 0.964967 0.985369 NaN NaN

35 NaN NaN 0.970306 0.98655 NaN NaN

36 NaN NaN 0.967489 0.978281 NaN NaN

37 NaN NaN 0.972146 0.987913 NaN NaN

38 NaN NaN 0.968284 0.985642 NaN NaN

39 NaN NaN 0.966898 0.987005 NaN NaN

epoch 4 takes 148 seconds.

[6, 30] loss: 0.565

[6, 60] loss: 0.557

[6, 90] loss: 0.585

[6, 120] loss: 0.522

[6, 150] loss: 0.551

[6, 180] loss: 0.525

[6, 210] loss: 0.559

[6, 240] loss: 0.535

[6, 270] loss: 0.633

[6, 300] loss: 0.559

[6, 330] loss: 0.548

[6, 360] loss: 0.550

[6, 390] loss: 0.460

[6, 420] loss: 0.529

[6, 450] loss: 0.538

[6, 480] loss: 0.631

[6, 510] loss: 0.588

[6, 540] loss: 0.621

[6, 570] loss: 0.550

[6, 600] loss: 0.580

[6, 630] loss: 0.644

[6, 660] loss: 0.517

[6, 690] loss: 0.640

[6, 720] loss: 0.580

[6, 750] loss: 0.542

[6, 780] loss: 0.528

[6, 810] loss: 0.504

[6, 840] loss: 0.567

[6, 870] loss: 0.500

[6, 900] loss: 0.597

[6, 930] loss: 0.543

[6, 960] loss: 0.464

[6, 990] loss: 0.610

[6, 1020] loss: 0.485

[6, 1050] loss: 0.448

[6, 1080] loss: 0.558

[6, 1110] loss: 0.455

[6, 1140] loss: 0.513

[6, 1170] loss: 0.575

[6, 1200] loss: 0.517

[6, 1230] loss: 0.549

[6, 1260] loss: 0.600

[6, 1290] loss: 0.589

[6, 1320] loss: 0.580

[6, 1350] loss: 0.585

[6, 1380] loss: 0.495

[6, 1410] loss: 0.545

[6, 1440] loss: 0.557

[6, 1470] loss: 0.492

[6, 1500] loss: 0.619

[6, 1530] loss: 0.506

[6, 1560] loss: 0.482

[6, 1590] loss: 0.554

[6, 1620] loss: 0.519

[6, 1650] loss: 0.538

[6, 1680] loss: 0.485

[6, 1710] loss: 0.596

[6, 1740] loss: 0.641

[6, 1770] loss: 0.576

[6, 1800] loss: 0.630

[6, 1830] loss: 0.467

[6, 1860] loss: 0.567

[6, 1890] loss: 0.531

[6, 1920] loss: 0.564

[6, 1950] loss: 0.528

[6, 1980] loss: 0.531

[6, 2010] loss: 0.612

[6, 2040] loss: 0.546

[6, 2070] loss: 0.537

[6, 2100] loss: 0.604

[6, 2130] loss: 0.547

[6, 2160] loss: 0.534

[6, 2190] loss: 0.568

ovft_intermediate_models/epoch5_shallow.pt saved.


evaluating on training set...

Accuracy on test images: 0.894311

epoch 5 accuracy on train set is: 0.8943111595783352

evaluating on training set takes 63 seconds.

shallow_train shallow_test scratch_train scratch_test deep_train deep_test

0 0.849396 0.875682 0.277854 0.251999 NaN NaN

1 0.868889 0.891948 0.473737 0.542803 NaN NaN

2 0.877249 0.90976 0.651877 0.724555 NaN NaN

3 0.883224 0.89522 0.742321 0.83197 NaN NaN

4 0.883679 0.908033 0.776081 0.848419 NaN NaN

5 0.894311 NaN 0.830153 0.892857 NaN NaN

6 NaN NaN 0.839399 0.894039 NaN NaN

7 NaN NaN 0.869706 0.914304 NaN NaN

8 NaN NaN 0.882656 0.925391 NaN NaN

9 NaN NaN 0.903194 0.951018 NaN NaN

10 NaN NaN 0.910305 0.941567 NaN NaN

11 NaN NaN 0.919257 0.959833 NaN NaN

12 NaN NaN 0.923687 0.96365 NaN NaN

13 NaN NaN 0.934115 0.961923 NaN NaN

14 NaN NaN 0.928253 0.96365 NaN NaN

15 NaN NaN 0.936796 0.96574 NaN NaN

16 NaN NaN 0.942794 0.970102 NaN NaN

17 NaN NaN 0.944089 0.969829 NaN NaN

18 NaN NaN 0.94293 0.972465 NaN NaN

19 NaN NaN 0.949041 0.973646 NaN NaN

20 NaN NaN 0.949677 0.973101 NaN NaN

21 NaN NaN 0.935751 0.955107 NaN NaN

22 NaN NaN 0.952449 0.973646 NaN NaN

23 NaN NaN 0.953085 0.97619 NaN NaN

24 NaN NaN 0.958879 0.979916 NaN NaN

25 NaN NaN 0.959333 0.980189 NaN NaN

26 NaN NaN 0.960492 0.977463 NaN NaN

27 NaN NaN 0.966058 0.984824 NaN NaN

28 NaN NaN 0.957425 0.976372 NaN NaN

29 NaN NaN 0.959606 0.976009 NaN NaN

30 NaN NaN 0.964195 0.985642 NaN NaN

31 NaN NaN 0.964626 0.985551 NaN NaN

32 NaN NaN 0.96424 0.985187 NaN NaN

33 NaN NaN 0.961469 0.980825 NaN NaN

34 NaN NaN 0.964967 0.985369 NaN NaN

35 NaN NaN 0.970306 0.98655 NaN NaN

36 NaN NaN 0.967489 0.978281 NaN NaN

37 NaN NaN 0.972146 0.987913 NaN NaN

38 NaN NaN 0.968284 0.985642 NaN NaN

39 NaN NaN 0.966898 0.987005 NaN NaN

evaluating on test set...

Accuracy on test images: 0.913304

epoch 5 accuracy on test set is: 0.9133042529989095

evaluating on test set takes 16 seconds.

shallow_train shallow_test scratch_train scratch_test deep_train deep_test

0 0.849396 0.875682 0.277854 0.251999 NaN NaN

1 0.868889 0.891948 0.473737 0.542803 NaN NaN

2 0.877249 0.90976 0.651877 0.724555 NaN NaN

3 0.883224 0.89522 0.742321 0.83197 NaN NaN

4 0.883679 0.908033 0.776081 0.848419 NaN NaN

5 0.894311 0.913304 0.830153 0.892857 NaN NaN

6 NaN NaN 0.839399 0.894039 NaN NaN

7 NaN NaN 0.869706 0.914304 NaN NaN

8 NaN NaN 0.882656 0.925391 NaN NaN

9 NaN NaN 0.903194 0.951018 NaN NaN

10 NaN NaN 0.910305 0.941567 NaN NaN

11 NaN NaN 0.919257 0.959833 NaN NaN

12 NaN NaN 0.923687 0.96365 NaN NaN

13 NaN NaN 0.934115 0.961923 NaN NaN

14 NaN NaN 0.928253 0.96365 NaN NaN

15 NaN NaN 0.936796 0.96574 NaN NaN

16 NaN NaN 0.942794 0.970102 NaN NaN

17 NaN NaN 0.944089 0.969829 NaN NaN

18 NaN NaN 0.94293 0.972465 NaN NaN

19 NaN NaN 0.949041 0.973646 NaN NaN

20 NaN NaN 0.949677 0.973101 NaN NaN

21 NaN NaN 0.935751 0.955107 NaN NaN

22 NaN NaN 0.952449 0.973646 NaN NaN

23 NaN NaN 0.953085 0.97619 NaN NaN

24 NaN NaN 0.958879 0.979916 NaN NaN

25 NaN NaN 0.959333 0.980189 NaN NaN

26 NaN NaN 0.960492 0.977463 NaN NaN

27 NaN NaN 0.966058 0.984824 NaN NaN

28 NaN NaN 0.957425 0.976372 NaN NaN

29 NaN NaN 0.959606 0.976009 NaN NaN

30 NaN NaN 0.964195 0.985642 NaN NaN

31 NaN NaN 0.964626 0.985551 NaN NaN

32 NaN NaN 0.96424 0.985187 NaN NaN

33 NaN NaN 0.961469 0.980825 NaN NaN

34 NaN NaN 0.964967 0.985369 NaN NaN

35 NaN NaN 0.970306 0.98655 NaN NaN

36 NaN NaN 0.967489 0.978281 NaN NaN

37 NaN NaN 0.972146 0.987913 NaN NaN

38 NaN NaN 0.968284 0.985642 NaN NaN

39 NaN NaN 0.966898 0.987005 NaN NaN

epoch 5 takes 148 seconds.

[7, 30] loss: 0.581

[7, 60] loss: 0.611

[7, 90] loss: 0.455

[7, 120] loss: 0.513

[7, 150] loss: 0.564

[7, 180] loss: 0.721

[7, 210] loss: 0.618

[7, 240] loss: 0.517

[7, 270] loss: 0.494

[7, 300] loss: 0.592

[7, 330] loss: 0.522

[7, 360] loss: 0.542

[7, 390] loss: 0.575

[7, 420] loss: 0.562

[7, 450] loss: 0.573

[7, 480] loss: 0.569

[7, 510] loss: 0.593

[7, 540] loss: 0.536

[7, 570] loss: 0.574

[7, 600] loss: 0.588

[7, 630] loss: 0.574

[7, 660] loss: 0.580

[7, 690] loss: 0.527

[7, 720] loss: 0.529

[7, 750] loss: 0.531

[7, 780] loss: 0.584

[7, 810] loss: 0.501

[7, 840] loss: 0.471

[7, 870] loss: 0.536

[7, 900] loss: 0.562

[7, 930] loss: 0.499

[7, 960] loss: 0.518

[7, 990] loss: 0.525

[7, 1020] loss: 0.481

[7, 1050] loss: 0.492

[7, 1080] loss: 0.545

[7, 1110] loss: 0.482

[7, 1140] loss: 0.540

[7, 1170] loss: 0.489

[7, 1200] loss: 0.540

[7, 1230] loss: 0.575

[7, 1260] loss: 0.526

[7, 1290] loss: 0.539

[7, 1320] loss: 0.590

[7, 1350] loss: 0.556

[7, 1380] loss: 0.508

[7, 1410] loss: 0.564

[7, 1440] loss: 0.571

[7, 1470] loss: 0.481

[7, 1500] loss: 0.579

[7, 1530] loss: 0.526

[7, 1560] loss: 0.523

[7, 1590] loss: 0.542

[7, 1620] loss: 0.608

[7, 1650] loss: 0.564

[7, 1680] loss: 0.534

[7, 1710] loss: 0.475

[7, 1740] loss: 0.449

[7, 1770] loss: 0.539

[7, 1800] loss: 0.551

[7, 1830] loss: 0.501

[7, 1860] loss: 0.479

[7, 1890] loss: 0.650

[7, 1920] loss: 0.581

[7, 1950] loss: 0.571

[7, 1980] loss: 0.580

[7, 2010] loss: 0.547

[7, 2040] loss: 0.500

[7, 2070] loss: 0.569

[7, 2100] loss: 0.515

[7, 2130] loss: 0.665

[7, 2160] loss: 0.530

[7, 2190] loss: 0.564

ovft_intermediate_models/epoch6_shallow.pt saved.


evaluating on training set...

Accuracy on test images: 0.897492

epoch 6 accuracy on train set is: 0.8974918211559433

evaluating on training set takes 63 seconds.

shallow_train shallow_test scratch_train scratch_test deep_train deep_test

0 0.849396 0.875682 0.277854 0.251999 NaN NaN

1 0.868889 0.891948 0.473737 0.542803 NaN NaN

2 0.877249 0.90976 0.651877 0.724555 NaN NaN

3 0.883224 0.89522 0.742321 0.83197 NaN NaN

4 0.883679 0.908033 0.776081 0.848419 NaN NaN

5 0.894311 0.913304 0.830153 0.892857 NaN NaN

6 0.897492 NaN 0.839399 0.894039 NaN NaN

7 NaN NaN 0.869706 0.914304 NaN NaN

8 NaN NaN 0.882656 0.925391 NaN NaN

9 NaN NaN 0.903194 0.951018 NaN NaN

10 NaN NaN 0.910305 0.941567 NaN NaN

11 NaN NaN 0.919257 0.959833 NaN NaN

12 NaN NaN 0.923687 0.96365 NaN NaN

13 NaN NaN 0.934115 0.961923 NaN NaN

14 NaN NaN 0.928253 0.96365 NaN NaN

15 NaN NaN 0.936796 0.96574 NaN NaN

16 NaN NaN 0.942794 0.970102 NaN NaN

17 NaN NaN 0.944089 0.969829 NaN NaN

18 NaN NaN 0.94293 0.972465 NaN NaN

19 NaN NaN 0.949041 0.973646 NaN NaN

20 NaN NaN 0.949677 0.973101 NaN NaN

21 NaN NaN 0.935751 0.955107 NaN NaN

22 NaN NaN 0.952449 0.973646 NaN NaN

23 NaN NaN 0.953085 0.97619 NaN NaN

24 NaN NaN 0.958879 0.979916 NaN NaN

25 NaN NaN 0.959333 0.980189 NaN NaN

26 NaN NaN 0.960492 0.977463 NaN NaN

27 NaN NaN 0.966058 0.984824 NaN NaN

28 NaN NaN 0.957425 0.976372 NaN NaN

29 NaN NaN 0.959606 0.976009 NaN NaN

30 NaN NaN 0.964195 0.985642 NaN NaN

31 NaN NaN 0.964626 0.985551 NaN NaN

32 NaN NaN 0.96424 0.985187 NaN NaN

33 NaN NaN 0.961469 0.980825 NaN NaN

34 NaN NaN 0.964967 0.985369 NaN NaN

35 NaN NaN 0.970306 0.98655 NaN NaN

36 NaN NaN 0.967489 0.978281 NaN NaN

37 NaN NaN 0.972146 0.987913 NaN NaN

38 NaN NaN 0.968284 0.985642 NaN NaN

39 NaN NaN 0.966898 0.987005 NaN NaN

evaluating on test set...

Accuracy on test images: 0.917212

epoch 6 accuracy on test set is: 0.9172119229371137

evaluating on test set takes 16 seconds.

shallow_train shallow_test scratch_train scratch_test deep_train deep_test

0 0.849396 0.875682 0.277854 0.251999 NaN NaN

1 0.868889 0.891948 0.473737 0.542803 NaN NaN

2 0.877249 0.90976 0.651877 0.724555 NaN NaN

3 0.883224 0.89522 0.742321 0.83197 NaN NaN

4 0.883679 0.908033 0.776081 0.848419 NaN NaN

5 0.894311 0.913304 0.830153 0.892857 NaN NaN

6 0.897492 0.917212 0.839399 0.894039 NaN NaN

7 NaN NaN 0.869706 0.914304 NaN NaN

8 NaN NaN 0.882656 0.925391 NaN NaN

9 NaN NaN 0.903194 0.951018 NaN NaN

10 NaN NaN 0.910305 0.941567 NaN NaN

11 NaN NaN 0.919257 0.959833 NaN NaN

12 NaN NaN 0.923687 0.96365 NaN NaN

13 NaN NaN 0.934115 0.961923 NaN NaN

14 NaN NaN 0.928253 0.96365 NaN NaN

15 NaN NaN 0.936796 0.96574 NaN NaN

16 NaN NaN 0.942794 0.970102 NaN NaN

17 NaN NaN 0.944089 0.969829 NaN NaN

18 NaN NaN 0.94293 0.972465 NaN NaN

19 NaN NaN 0.949041 0.973646 NaN NaN

20 NaN NaN 0.949677 0.973101 NaN NaN

21 NaN NaN 0.935751 0.955107 NaN NaN

22 NaN NaN 0.952449 0.973646 NaN NaN

23 NaN NaN 0.953085 0.97619 NaN NaN

24 NaN NaN 0.958879 0.979916 NaN NaN

25 NaN NaN 0.959333 0.980189 NaN NaN

26 NaN NaN 0.960492 0.977463 NaN NaN

27 NaN NaN 0.966058 0.984824 NaN NaN

28 NaN NaN 0.957425 0.976372 NaN NaN

29 NaN NaN 0.959606 0.976009 NaN NaN

30 NaN NaN 0.964195 0.985642 NaN NaN

31 NaN NaN 0.964626 0.985551 NaN NaN

32 NaN NaN 0.96424 0.985187 NaN NaN

33 NaN NaN 0.961469 0.980825 NaN NaN

34 NaN NaN 0.964967 0.985369 NaN NaN

35 NaN NaN 0.970306 0.98655 NaN NaN

36 NaN NaN 0.967489 0.978281 NaN NaN

37 NaN NaN 0.972146 0.987913 NaN NaN

38 NaN NaN 0.968284 0.985642 NaN NaN

39 NaN NaN 0.966898 0.987005 NaN NaN

epoch 6 takes 148 seconds.

[8, 30] loss: 0.505

[8, 60] loss: 0.536

[8, 90] loss: 0.457

[8, 120] loss: 0.527

[8, 150] loss: 0.453

[8, 180] loss: 0.512

[8, 210] loss: 0.519

[8, 240] loss: 0.551

[8, 270] loss: 0.710

[8, 300] loss: 0.550

[8, 330] loss: 0.507

[8, 360] loss: 0.526

[8, 390] loss: 0.585

[8, 420] loss: 0.516

[8, 450] loss: 0.492

[8, 480] loss: 0.559

[8, 510] loss: 0.553

[8, 540] loss: 0.536

[8, 570] loss: 0.596

[8, 600] loss: 0.486

[8, 630] loss: 0.503

[8, 660] loss: 0.487

[8, 690] loss: 0.535

[8, 720] loss: 0.581

[8, 750] loss: 0.549

[8, 780] loss: 0.497

[8, 810] loss: 0.504

[8, 840] loss: 0.556

[8, 870] loss: 0.537

[8, 900] loss: 0.489

[8, 930] loss: 0.536

[8, 960] loss: 0.564

[8, 990] loss: 0.543

[8, 1020] loss: 0.584

[8, 1050] loss: 0.512

[8, 1080] loss: 0.547

[8, 1110] loss: 0.532

[8, 1140] loss: 0.474

[8, 1170] loss: 0.599

[8, 1200] loss: 0.497

[8, 1230] loss: 0.502

[8, 1260] loss: 0.570

[8, 1290] loss: 0.529

[8, 1320] loss: 0.481

[8, 1350] loss: 0.500

[8, 1380] loss: 0.628

[8, 1410] loss: 0.521

[8, 1440] loss: 0.465

[8, 1470] loss: 0.448

[8, 1500] loss: 0.461

[8, 1530] loss: 0.527

[8, 1560] loss: 0.548

[8, 1590] loss: 0.424

[8, 1620] loss: 0.604

[8, 1650] loss: 0.527

[8, 1680] loss: 0.527

[8, 1710] loss: 0.508

[8, 1740] loss: 0.463

[8, 1770] loss: 0.538

[8, 1800] loss: 0.505

[8, 1830] loss: 0.513

[8, 1860] loss: 0.525

[8, 1890] loss: 0.534

[8, 1920] loss: 0.551

[8, 1950] loss: 0.522

[8, 1980] loss: 0.526

[8, 2010] loss: 0.422

[8, 2040] loss: 0.447

[8, 2070] loss: 0.519

[8, 2100] loss: 0.457

[8, 2130] loss: 0.533

[8, 2160] loss: 0.581

[8, 2190] loss: 0.496

ovft_intermediate_models/epoch7_shallow.pt saved.


evaluating on training set...

Accuracy on test images: 0.889790

epoch 7 accuracy on train set is: 0.8897900763358778

evaluating on training set takes 63 seconds.

shallow_train shallow_test scratch_train scratch_test deep_train deep_test

0 0.849396 0.875682 0.277854 0.251999 NaN NaN

1 0.868889 0.891948 0.473737 0.542803 NaN NaN

2 0.877249 0.90976 0.651877 0.724555 NaN NaN

3 0.883224 0.89522 0.742321 0.83197 NaN NaN

4 0.883679 0.908033 0.776081 0.848419 NaN NaN

5 0.894311 0.913304 0.830153 0.892857 NaN NaN

6 0.897492 0.917212 0.839399 0.894039 NaN NaN

7 0.88979 NaN 0.869706 0.914304 NaN NaN

8 NaN NaN 0.882656 0.925391 NaN NaN

9 NaN NaN 0.903194 0.951018 NaN NaN

10 NaN NaN 0.910305 0.941567 NaN NaN

11 NaN NaN 0.919257 0.959833 NaN NaN

12 NaN NaN 0.923687 0.96365 NaN NaN

13 NaN NaN 0.934115 0.961923 NaN NaN

14 NaN NaN 0.928253 0.96365 NaN NaN

15 NaN NaN 0.936796 0.96574 NaN NaN

16 NaN NaN 0.942794 0.970102 NaN NaN

17 NaN NaN 0.944089 0.969829 NaN NaN

18 NaN NaN 0.94293 0.972465 NaN NaN

19 NaN NaN 0.949041 0.973646 NaN NaN

20 NaN NaN 0.949677 0.973101 NaN NaN

21 NaN NaN 0.935751 0.955107 NaN NaN

22 NaN NaN 0.952449 0.973646 NaN NaN

23 NaN NaN 0.953085 0.97619 NaN NaN

24 NaN NaN 0.958879 0.979916 NaN NaN

25 NaN NaN 0.959333 0.980189 NaN NaN

26 NaN NaN 0.960492 0.977463 NaN NaN

27 NaN NaN 0.966058 0.984824 NaN NaN

28 NaN NaN 0.957425 0.976372 NaN NaN

29 NaN NaN 0.959606 0.976009 NaN NaN

30 NaN NaN 0.964195 0.985642 NaN NaN

31 NaN NaN 0.964626 0.985551 NaN NaN

32 NaN NaN 0.96424 0.985187 NaN NaN

33 NaN NaN 0.961469 0.980825 NaN NaN

34 NaN NaN 0.964967 0.985369 NaN NaN

35 NaN NaN 0.970306 0.98655 NaN NaN

36 NaN NaN 0.967489 0.978281 NaN NaN

37 NaN NaN 0.972146 0.987913 NaN NaN

38 NaN NaN 0.968284 0.985642 NaN NaN

39 NaN NaN 0.966898 0.987005 NaN NaN

evaluating on test set...

Accuracy on test images: 0.907306

epoch 7 accuracy on test set is: 0.9073064340239912

evaluating on test set takes 16 seconds.

shallow_train shallow_test scratch_train scratch_test deep_train deep_test

0 0.849396 0.875682 0.277854 0.251999 NaN NaN

1 0.868889 0.891948 0.473737 0.542803 NaN NaN

2 0.877249 0.90976 0.651877 0.724555 NaN NaN

3 0.883224 0.89522 0.742321 0.83197 NaN NaN

4 0.883679 0.908033 0.776081 0.848419 NaN NaN

5 0.894311 0.913304 0.830153 0.892857 NaN NaN

6 0.897492 0.917212 0.839399 0.894039 NaN NaN

7 0.88979 0.907306 0.869706 0.914304 NaN NaN

8 NaN NaN 0.882656 0.925391 NaN NaN

9 NaN NaN 0.903194 0.951018 NaN NaN

10 NaN NaN 0.910305 0.941567 NaN NaN

11 NaN NaN 0.919257 0.959833 NaN NaN

12 NaN NaN 0.923687 0.96365 NaN NaN

13 NaN NaN 0.934115 0.961923 NaN NaN

14 NaN NaN 0.928253 0.96365 NaN NaN

15 NaN NaN 0.936796 0.96574 NaN NaN

16 NaN NaN 0.942794 0.970102 NaN NaN

17 NaN NaN 0.944089 0.969829 NaN NaN

18 NaN NaN 0.94293 0.972465 NaN NaN

19 NaN NaN 0.949041 0.973646 NaN NaN

20 NaN NaN 0.949677 0.973101 NaN NaN

21 NaN NaN 0.935751 0.955107 NaN NaN

22 NaN NaN 0.952449 0.973646 NaN NaN

23 NaN NaN 0.953085 0.97619 NaN NaN

24 NaN NaN 0.958879 0.979916 NaN NaN

25 NaN NaN 0.959333 0.980189 NaN NaN

26 NaN NaN 0.960492 0.977463 NaN NaN

27 NaN NaN 0.966058 0.984824 NaN NaN

28 NaN NaN 0.957425 0.976372 NaN NaN

29 NaN NaN 0.959606 0.976009 NaN NaN

30 NaN NaN 0.964195 0.985642 NaN NaN

31 NaN NaN 0.964626 0.985551 NaN NaN

32 NaN NaN 0.96424 0.985187 NaN NaN

33 NaN NaN 0.961469 0.980825 NaN NaN

34 NaN NaN 0.964967 0.985369 NaN NaN

35 NaN NaN 0.970306 0.98655 NaN NaN

36 NaN NaN 0.967489 0.978281 NaN NaN

37 NaN NaN 0.972146 0.987913 NaN NaN

38 NaN NaN 0.968284 0.985642 NaN NaN

39 NaN NaN 0.966898 0.987005 NaN NaN

epoch 7 takes 148 seconds.

[9, 30] loss: 0.522

[9, 60] loss: 0.525

[9, 90] loss: 0.536

[9, 120] loss: 0.509

[9, 150] loss: 0.483

[9, 180] loss: 0.387

[9, 210] loss: 0.504

[9, 240] loss: 0.525

[9, 270] loss: 0.490

[9, 300] loss: 0.556

[9, 330] loss: 0.538

[9, 360] loss: 0.626

[9, 390] loss: 0.520

[9, 420] loss: 0.570

[9, 450] loss: 0.496

[9, 480] loss: 0.528

[9, 510] loss: 0.550

[9, 540] loss: 0.571

[9, 570] loss: 0.524

[9, 600] loss: 0.531

[9, 630] loss: 0.523

[9, 660] loss: 0.602

[9, 690] loss: 0.478

[9, 720] loss: 0.578

[9, 750] loss: 0.594

[9, 780] loss: 0.620

[9, 810] loss: 0.496

[9, 840] loss: 0.498

[9, 870] loss: 0.450

[9, 900] loss: 0.558

[9, 930] loss: 0.443

[9, 960] loss: 0.483

[9, 990] loss: 0.469

[9, 1020] loss: 0.492

[9, 1050] loss: 0.544

[9, 1080] loss: 0.529

[9, 1110] loss: 0.445

[9, 1140] loss: 0.494

[9, 1170] loss: 0.493

[9, 1200] loss: 0.583

[9, 1230] loss: 0.473

[9, 1260] loss: 0.538

[9, 1290] loss: 0.496

[9, 1320] loss: 0.607

[9, 1350] loss: 0.517

[9, 1380] loss: 0.509

[9, 1410] loss: 0.482

[9, 1440] loss: 0.503

[9, 1470] loss: 0.421

[9, 1500] loss: 0.559

[9, 1530] loss: 0.532

[9, 1560] loss: 0.529

[9, 1590] loss: 0.567

[9, 1620] loss: 0.601

[9, 1650] loss: 0.462

[9, 1680] loss: 0.507

[9, 1710] loss: 0.537

[9, 1740] loss: 0.522

[9, 1770] loss: 0.486

[9, 1800] loss: 0.527

[9, 1830] loss: 0.549

[9, 1860] loss: 0.490

[9, 1890] loss: 0.556

[9, 1920] loss: 0.524

[9, 1950] loss: 0.492

[9, 1980] loss: 0.496

[9, 2010] loss: 0.465

[9, 2040] loss: 0.533

[9, 2070] loss: 0.475

[9, 2100] loss: 0.569

[9, 2130] loss: 0.501

[9, 2160] loss: 0.520

[9, 2190] loss: 0.454

ovft_intermediate_models/epoch8_shallow.pt saved.


evaluating on training set...

Accuracy on test images: 0.889427

epoch 8 accuracy on train set is: 0.8894265721555797

evaluating on training set takes 63 seconds.

shallow_train shallow_test scratch_train scratch_test deep_train deep_test

0 0.849396 0.875682 0.277854 0.251999 NaN NaN

1 0.868889 0.891948 0.473737 0.542803 NaN NaN

2 0.877249 0.90976 0.651877 0.724555 NaN NaN

3 0.883224 0.89522 0.742321 0.83197 NaN NaN

4 0.883679 0.908033 0.776081 0.848419 NaN NaN

5 0.894311 0.913304 0.830153 0.892857 NaN NaN

6 0.897492 0.917212 0.839399 0.894039 NaN NaN

7 0.88979 0.907306 0.869706 0.914304 NaN NaN

8 0.889427 NaN 0.882656 0.925391 NaN NaN

9 NaN NaN 0.903194 0.951018 NaN NaN

10 NaN NaN 0.910305 0.941567 NaN NaN

11 NaN NaN 0.919257 0.959833 NaN NaN

12 NaN NaN 0.923687 0.96365 NaN NaN

13 NaN NaN 0.934115 0.961923 NaN NaN

14 NaN NaN 0.928253 0.96365 NaN NaN

15 NaN NaN 0.936796 0.96574 NaN NaN

16 NaN NaN 0.942794 0.970102 NaN NaN

17 NaN NaN 0.944089 0.969829 NaN NaN

18 NaN NaN 0.94293 0.972465 NaN NaN

19 NaN NaN 0.949041 0.973646 NaN NaN

20 NaN NaN 0.949677 0.973101 NaN NaN

21 NaN NaN 0.935751 0.955107 NaN NaN

22 NaN NaN 0.952449 0.973646 NaN NaN

23 NaN NaN 0.953085 0.97619 NaN NaN

24 NaN NaN 0.958879 0.979916 NaN NaN

25 NaN NaN 0.959333 0.980189 NaN NaN

26 NaN NaN 0.960492 0.977463 NaN NaN

27 NaN NaN 0.966058 0.984824 NaN NaN

28 NaN NaN 0.957425 0.976372 NaN NaN

29 NaN NaN 0.959606 0.976009 NaN NaN

30 NaN NaN 0.964195 0.985642 NaN NaN

31 NaN NaN 0.964626 0.985551 NaN NaN

32 NaN NaN 0.96424 0.985187 NaN NaN

33 NaN NaN 0.961469 0.980825 NaN NaN

34 NaN NaN 0.964967 0.985369 NaN NaN

35 NaN NaN 0.970306 0.98655 NaN NaN

36 NaN NaN 0.967489 0.978281 NaN NaN

37 NaN NaN 0.972146 0.987913 NaN NaN

38 NaN NaN 0.968284 0.985642 NaN NaN

39 NaN NaN 0.966898 0.987005 NaN NaN

evaluating on test set...

Accuracy on test images: 0.907034

epoch 8 accuracy on test set is: 0.9070338058887677

evaluating on test set takes 16 seconds.

shallow_train shallow_test scratch_train scratch_test deep_train deep_test

0 0.849396 0.875682 0.277854 0.251999 NaN NaN

1 0.868889 0.891948 0.473737 0.542803 NaN NaN

2 0.877249 0.90976 0.651877 0.724555 NaN NaN

3 0.883224 0.89522 0.742321 0.83197 NaN NaN

4 0.883679 0.908033 0.776081 0.848419 NaN NaN

5 0.894311 0.913304 0.830153 0.892857 NaN NaN

6 0.897492 0.917212 0.839399 0.894039 NaN NaN

7 0.88979 0.907306 0.869706 0.914304 NaN NaN

8 0.889427 0.907034 0.882656 0.925391 NaN NaN

9 NaN NaN 0.903194 0.951018 NaN NaN

10 NaN NaN 0.910305 0.941567 NaN NaN

11 NaN NaN 0.919257 0.959833 NaN NaN

12 NaN NaN 0.923687 0.96365 NaN NaN

13 NaN NaN 0.934115 0.961923 NaN NaN

14 NaN NaN 0.928253 0.96365 NaN NaN

15 NaN NaN 0.936796 0.96574 NaN NaN

16 NaN NaN 0.942794 0.970102 NaN NaN

17 NaN NaN 0.944089 0.969829 NaN NaN

18 NaN NaN 0.94293 0.972465 NaN NaN

19 NaN NaN 0.949041 0.973646 NaN NaN

20 NaN NaN 0.949677 0.973101 NaN NaN

21 NaN NaN 0.935751 0.955107 NaN NaN

22 NaN NaN 0.952449 0.973646 NaN NaN

23 NaN NaN 0.953085 0.97619 NaN NaN

24 NaN NaN 0.958879 0.979916 NaN NaN

25 NaN NaN 0.959333 0.980189 NaN NaN

26 NaN NaN 0.960492 0.977463 NaN NaN

27 NaN NaN 0.966058 0.984824 NaN NaN

28 NaN NaN 0.957425 0.976372 NaN NaN

29 NaN NaN 0.959606 0.976009 NaN NaN

30 NaN NaN 0.964195 0.985642 NaN NaN

31 NaN NaN 0.964626 0.985551 NaN NaN

32 NaN NaN 0.96424 0.985187 NaN NaN

33 NaN NaN 0.961469 0.980825 NaN NaN

34 NaN NaN 0.964967 0.985369 NaN NaN

35 NaN NaN 0.970306 0.98655 NaN NaN

36 NaN NaN 0.967489 0.978281 NaN NaN

37 NaN NaN 0.972146 0.987913 NaN NaN

38 NaN NaN 0.968284 0.985642 NaN NaN

39 NaN NaN 0.966898 0.987005 NaN NaN

epoch 8 takes 148 seconds.

[10, 30] loss: 0.519

[10, 60] loss: 0.513

[10, 90] loss: 0.617

[10, 120] loss: 0.487

[10, 150] loss: 0.563

[10, 180] loss: 0.615

[10, 210] loss: 0.460

[10, 240] loss: 0.673

[10, 270] loss: 0.523

[10, 300] loss: 0.492

[10, 330] loss: 0.470

[10, 360] loss: 0.487

[10, 390] loss: 0.464

[10, 420] loss: 0.553

[10, 450] loss: 0.532

[10, 480] loss: 0.560

[10, 510] loss: 0.502

[10, 540] loss: 0.461

[10, 570] loss: 0.540

[10, 600] loss: 0.559

[10, 630] loss: 0.605

[10, 660] loss: 0.493

[10, 690] loss: 0.510

[10, 720] loss: 0.455

[10, 750] loss: 0.622

[10, 780] loss: 0.524

[10, 810] loss: 0.559

[10, 840] loss: 0.559

[10, 870] loss: 0.478

[10, 900] loss: 0.563

[10, 930] loss: 0.563

[10, 960] loss: 0.532

[10, 990] loss: 0.460

[10, 1020] loss: 0.608

[10, 1050] loss: 0.516

[10, 1080] loss: 0.506

[10, 1110] loss: 0.495

[10, 1140] loss: 0.474

[10, 1170] loss: 0.595

[10, 1200] loss: 0.528

[10, 1230] loss: 0.504

[10, 1260] loss: 0.537

[10, 1290] loss: 0.557

[10, 1320] loss: 0.565

[10, 1350] loss: 0.461

[10, 1380] loss: 0.632

[10, 1410] loss: 0.478

[10, 1440] loss: 0.470

[10, 1470] loss: 0.495

[10, 1500] loss: 0.528

[10, 1530] loss: 0.526

[10, 1560] loss: 0.525

[10, 1590] loss: 0.521

[10, 1620] loss: 0.483

[10, 1650] loss: 0.572

[10, 1680] loss: 0.463

[10, 1710] loss: 0.515

[10, 1740] loss: 0.512

[10, 1770] loss: 0.519

[10, 1800] loss: 0.544

[10, 1830] loss: 0.505

[10, 1860] loss: 0.458

[10, 1890] loss: 0.606

[10, 1920] loss: 0.534

[10, 1950] loss: 0.502

[10, 1980] loss: 0.574

[10, 2010] loss: 0.510

[10, 2040] loss: 0.549

[10, 2070] loss: 0.529

[10, 2100] loss: 0.554

[10, 2130] loss: 0.511

[10, 2160] loss: 0.593

[10, 2190] loss: 0.494

ovft_intermediate_models/epoch9_shallow.pt saved.


evaluating on training set...

Accuracy on test images: 0.890722

epoch 9 accuracy on train set is: 0.8907215557978917

evaluating on training set takes 64 seconds.

shallow_train shallow_test scratch_train scratch_test deep_train deep_test

0 0.849396 0.875682 0.277854 0.251999 NaN NaN

1 0.868889 0.891948 0.473737 0.542803 NaN NaN

2 0.877249 0.90976 0.651877 0.724555 NaN NaN

3 0.883224 0.89522 0.742321 0.83197 NaN NaN

4 0.883679 0.908033 0.776081 0.848419 NaN NaN

5 0.894311 0.913304 0.830153 0.892857 NaN NaN

6 0.897492 0.917212 0.839399 0.894039 NaN NaN

7 0.88979 0.907306 0.869706 0.914304 NaN NaN

8 0.889427 0.907034 0.882656 0.925391 NaN NaN

9 0.890722 NaN 0.903194 0.951018 NaN NaN

10 NaN NaN 0.910305 0.941567 NaN NaN

11 NaN NaN 0.919257 0.959833 NaN NaN

12 NaN NaN 0.923687 0.96365 NaN NaN

13 NaN NaN 0.934115 0.961923 NaN NaN

14 NaN NaN 0.928253 0.96365 NaN NaN

15 NaN NaN 0.936796 0.96574 NaN NaN

16 NaN NaN 0.942794 0.970102 NaN NaN

17 NaN NaN 0.944089 0.969829 NaN NaN

18 NaN NaN 0.94293 0.972465 NaN NaN

19 NaN NaN 0.949041 0.973646 NaN NaN

20 NaN NaN 0.949677 0.973101 NaN NaN

21 NaN NaN 0.935751 0.955107 NaN NaN

22 NaN NaN 0.952449 0.973646 NaN NaN

23 NaN NaN 0.953085 0.97619 NaN NaN

24 NaN NaN 0.958879 0.979916 NaN NaN

25 NaN NaN 0.959333 0.980189 NaN NaN

26 NaN NaN 0.960492 0.977463 NaN NaN

27 NaN NaN 0.966058 0.984824 NaN NaN

28 NaN NaN 0.957425 0.976372 NaN NaN

29 NaN NaN 0.959606 0.976009 NaN NaN

30 NaN NaN 0.964195 0.985642 NaN NaN

31 NaN NaN 0.964626 0.985551 NaN NaN

32 NaN NaN 0.96424 0.985187 NaN NaN

33 NaN NaN 0.961469 0.980825 NaN NaN

34 NaN NaN 0.964967 0.985369 NaN NaN

35 NaN NaN 0.970306 0.98655 NaN NaN

36 NaN NaN 0.967489 0.978281 NaN NaN

37 NaN NaN 0.972146 0.987913 NaN NaN

38 NaN NaN 0.968284 0.985642 NaN NaN

39 NaN NaN 0.966898 0.987005 NaN NaN

evaluating on test set...

Accuracy on test images: 0.906307

epoch 9 accuracy on test set is: 0.9063067975281716

evaluating on test set takes 16 seconds.

shallow_train shallow_test scratch_train scratch_test deep_train deep_test

0 0.849396 0.875682 0.277854 0.251999 NaN NaN

1 0.868889 0.891948 0.473737 0.542803 NaN NaN

2 0.877249 0.90976 0.651877 0.724555 NaN NaN

3 0.883224 0.89522 0.742321 0.83197 NaN NaN

4 0.883679 0.908033 0.776081 0.848419 NaN NaN

5 0.894311 0.913304 0.830153 0.892857 NaN NaN

6 0.897492 0.917212 0.839399 0.894039 NaN NaN

7 0.88979 0.907306 0.869706 0.914304 NaN NaN

8 0.889427 0.907034 0.882656 0.925391 NaN NaN

9 0.890722 0.906307 0.903194 0.951018 NaN NaN

10 NaN NaN 0.910305 0.941567 NaN NaN

11 NaN NaN 0.919257 0.959833 NaN NaN

12 NaN NaN 0.923687 0.96365 NaN NaN

13 NaN NaN 0.934115 0.961923 NaN NaN

14 NaN NaN 0.928253 0.96365 NaN NaN

15 NaN NaN 0.936796 0.96574 NaN NaN

16 NaN NaN 0.942794 0.970102 NaN NaN

17 NaN NaN 0.944089 0.969829 NaN NaN

18 NaN NaN 0.94293 0.972465 NaN NaN

19 NaN NaN 0.949041 0.973646 NaN NaN

20 NaN NaN 0.949677 0.973101 NaN NaN

21 NaN NaN 0.935751 0.955107 NaN NaN

22 NaN NaN 0.952449 0.973646 NaN NaN

23 NaN NaN 0.953085 0.97619 NaN NaN

24 NaN NaN 0.958879 0.979916 NaN NaN

25 NaN NaN 0.959333 0.980189 NaN NaN

26 NaN NaN 0.960492 0.977463 NaN NaN

27 NaN NaN 0.966058 0.984824 NaN NaN

28 NaN NaN 0.957425 0.976372 NaN NaN

29 NaN NaN 0.959606 0.976009 NaN NaN

30 NaN NaN 0.964195 0.985642 NaN NaN

31 NaN NaN 0.964626 0.985551 NaN NaN

32 NaN NaN 0.96424 0.985187 NaN NaN

33 NaN NaN 0.961469 0.980825 NaN NaN

34 NaN NaN 0.964967 0.985369 NaN NaN

35 NaN NaN 0.970306 0.98655 NaN NaN

36 NaN NaN 0.967489 0.978281 NaN NaN

37 NaN NaN 0.972146 0.987913 NaN NaN

38 NaN NaN 0.968284 0.985642 NaN NaN

39 NaN NaN 0.966898 0.987005 NaN NaN

epoch 9 takes 149 seconds.

[11, 30] loss: 0.483

[11, 60] loss: 0.576

[11, 90] loss: 0.493

[11, 120] loss: 0.552

[11, 150] loss: 0.464

[11, 180] loss: 0.521

[11, 210] loss: 0.605

[11, 240] loss: 0.497

[11, 270] loss: 0.477

[11, 300] loss: 0.438

[11, 330] loss: 0.445

[11, 360] loss: 0.525

[11, 390] loss: 0.447

[11, 420] loss: 0.528

[11, 450] loss: 0.463

[11, 480] loss: 0.510

[11, 510] loss: 0.518

[11, 540] loss: 0.556

[11, 570] loss: 0.541

[11, 600] loss: 0.465

[11, 630] loss: 0.556

[11, 660] loss: 0.518

[11, 690] loss: 0.519

[11, 720] loss: 0.481

[11, 750] loss: 0.485

[11, 780] loss: 0.533

[11, 810] loss: 0.525

[11, 840] loss: 0.536

[11, 870] loss: 0.498

[11, 900] loss: 0.548

[11, 930] loss: 0.528

[11, 960] loss: 0.625

[11, 990] loss: 0.505

[11, 1020] loss: 0.559

[11, 1050] loss: 0.570

[11, 1080] loss: 0.447

[11, 1110] loss: 0.519

[11, 1140] loss: 0.471

[11, 1170] loss: 0.398

[11, 1200] loss: 0.605

[11, 1230] loss: 0.604

[11, 1260] loss: 0.572

[11, 1290] loss: 0.557

[11, 1320] loss: 0.495

[11, 1350] loss: 0.483

[11, 1380] loss: 0.587

[11, 1410] loss: 0.572

[11, 1440] loss: 0.551

[11, 1470] loss: 0.519

[11, 1500] loss: 0.617

[11, 1530] loss: 0.501

[11, 1560] loss: 0.505

[11, 1590] loss: 0.446

[11, 1620] loss: 0.455

[11, 1650] loss: 0.480

[11, 1680] loss: 0.442

[11, 1710] loss: 0.527

[11, 1740] loss: 0.513

[11, 1770] loss: 0.528

[11, 1800] loss: 0.473

[11, 1830] loss: 0.464

[11, 1860] loss: 0.555

[11, 1890] loss: 0.506

[11, 1920] loss: 0.442

[11, 1950] loss: 0.504

[11, 1980] loss: 0.444

[11, 2010] loss: 0.632

[11, 2040] loss: 0.515

[11, 2070] loss: 0.620

[11, 2100] loss: 0.510

[11, 2130] loss: 0.593

[11, 2160] loss: 0.624

[11, 2190] loss: 0.557

ovft_intermediate_models/epoch10_shallow.pt saved.


evaluating on training set...

Accuracy on test images: 0.896924

epoch 10 accuracy on train set is: 0.8969238458742276

evaluating on training set takes 64 seconds.

shallow_train shallow_test scratch_train scratch_test deep_train deep_test

0 0.849396 0.875682 0.277854 0.251999 NaN NaN

1 0.868889 0.891948 0.473737 0.542803 NaN NaN

2 0.877249 0.90976 0.651877 0.724555 NaN NaN

3 0.883224 0.89522 0.742321 0.83197 NaN NaN

4 0.883679 0.908033 0.776081 0.848419 NaN NaN

5 0.894311 0.913304 0.830153 0.892857 NaN NaN

6 0.897492 0.917212 0.839399 0.894039 NaN NaN

7 0.88979 0.907306 0.869706 0.914304 NaN NaN

8 0.889427 0.907034 0.882656 0.925391 NaN NaN

9 0.890722 0.906307 0.903194 0.951018 NaN NaN

10 0.896924 NaN 0.910305 0.941567 NaN NaN

11 NaN NaN 0.919257 0.959833 NaN NaN

12 NaN NaN 0.923687 0.96365 NaN NaN

13 NaN NaN 0.934115 0.961923 NaN NaN

14 NaN NaN 0.928253 0.96365 NaN NaN

15 NaN NaN 0.936796 0.96574 NaN NaN

16 NaN NaN 0.942794 0.970102 NaN NaN

17 NaN NaN 0.944089 0.969829 NaN NaN

18 NaN NaN 0.94293 0.972465 NaN NaN

19 NaN NaN 0.949041 0.973646 NaN NaN

20 NaN NaN 0.949677 0.973101 NaN NaN

21 NaN NaN 0.935751 0.955107 NaN NaN

22 NaN NaN 0.952449 0.973646 NaN NaN

23 NaN NaN 0.953085 0.97619 NaN NaN

24 NaN NaN 0.958879 0.979916 NaN NaN

25 NaN NaN 0.959333 0.980189 NaN NaN

26 NaN NaN 0.960492 0.977463 NaN NaN

27 NaN NaN 0.966058 0.984824 NaN NaN

28 NaN NaN 0.957425 0.976372 NaN NaN

29 NaN NaN 0.959606 0.976009 NaN NaN

30 NaN NaN 0.964195 0.985642 NaN NaN

31 NaN NaN 0.964626 0.985551 NaN NaN

32 NaN NaN 0.96424 0.985187 NaN NaN

33 NaN NaN 0.961469 0.980825 NaN NaN

34 NaN NaN 0.964967 0.985369 NaN NaN

35 NaN NaN 0.970306 0.98655 NaN NaN

36 NaN NaN 0.967489 0.978281 NaN NaN

37 NaN NaN 0.972146 0.987913 NaN NaN

38 NaN NaN 0.968284 0.985642 NaN NaN

39 NaN NaN 0.966898 0.987005 NaN NaN

evaluating on test set...

Accuracy on test images: 0.902308

epoch 10 accuracy on test set is: 0.9023082515448928

evaluating on test set takes 16 seconds.

shallow_train shallow_test scratch_train scratch_test deep_train deep_test

0 0.849396 0.875682 0.277854 0.251999 NaN NaN

1 0.868889 0.891948 0.473737 0.542803 NaN NaN

2 0.877249 0.90976 0.651877 0.724555 NaN NaN

3 0.883224 0.89522 0.742321 0.83197 NaN NaN

4 0.883679 0.908033 0.776081 0.848419 NaN NaN

5 0.894311 0.913304 0.830153 0.892857 NaN NaN

6 0.897492 0.917212 0.839399 0.894039 NaN NaN

7 0.88979 0.907306 0.869706 0.914304 NaN NaN

8 0.889427 0.907034 0.882656 0.925391 NaN NaN

9 0.890722 0.906307 0.903194 0.951018 NaN NaN

10 0.896924 0.902308 0.910305 0.941567 NaN NaN

11 NaN NaN 0.919257 0.959833 NaN NaN

12 NaN NaN 0.923687 0.96365 NaN NaN

13 NaN NaN 0.934115 0.961923 NaN NaN

14 NaN NaN 0.928253 0.96365 NaN NaN

15 NaN NaN 0.936796 0.96574 NaN NaN

16 NaN NaN 0.942794 0.970102 NaN NaN

17 NaN NaN 0.944089 0.969829 NaN NaN

18 NaN NaN 0.94293 0.972465 NaN NaN

19 NaN NaN 0.949041 0.973646 NaN NaN

20 NaN NaN 0.949677 0.973101 NaN NaN

21 NaN NaN 0.935751 0.955107 NaN NaN

22 NaN NaN 0.952449 0.973646 NaN NaN

23 NaN NaN 0.953085 0.97619 NaN NaN

24 NaN NaN 0.958879 0.979916 NaN NaN

25 NaN NaN 0.959333 0.980189 NaN NaN

26 NaN NaN 0.960492 0.977463 NaN NaN

27 NaN NaN 0.966058 0.984824 NaN NaN

28 NaN NaN 0.957425 0.976372 NaN NaN

29 NaN NaN 0.959606 0.976009 NaN NaN

30 NaN NaN 0.964195 0.985642 NaN NaN

31 NaN NaN 0.964626 0.985551 NaN NaN

32 NaN NaN 0.96424 0.985187 NaN NaN

33 NaN NaN 0.961469 0.980825 NaN NaN

34 NaN NaN 0.964967 0.985369 NaN NaN

35 NaN NaN 0.970306 0.98655 NaN NaN

36 NaN NaN 0.967489 0.978281 NaN NaN

37 NaN NaN 0.972146 0.987913 NaN NaN

38 NaN NaN 0.968284 0.985642 NaN NaN

39 NaN NaN 0.966898 0.987005 NaN NaN

epoch 10 takes 149 seconds.

[12, 30] loss: 0.432

[12, 60] loss: 0.452

[12, 90] loss: 0.489

[12, 120] loss: 0.434

[12, 150] loss: 0.521

[12, 180] loss: 0.506

[12, 210] loss: 0.499

[12, 240] loss: 0.483

[12, 270] loss: 0.502

[12, 300] loss: 0.406

[12, 330] loss: 0.572

[12, 360] loss: 0.444

[12, 390] loss: 0.520

[12, 420] loss: 0.451

[12, 450] loss: 0.512

[12, 480] loss: 0.522

[12, 510] loss: 0.502

[12, 540] loss: 0.508

[12, 570] loss: 0.512

[12, 600] loss: 0.548

[12, 630] loss: 0.509

[12, 660] loss: 0.462

[12, 690] loss: 0.539

[12, 720] loss: 0.577

[12, 750] loss: 0.540

[12, 780] loss: 0.527

[12, 810] loss: 0.638

[12, 840] loss: 0.442

[12, 870] loss: 0.481

[12, 900] loss: 0.490

[12, 930] loss: 0.583

[12, 960] loss: 0.488

[12, 990] loss: 0.451

[12, 1020] loss: 0.561

[12, 1050] loss: 0.534

[12, 1080] loss: 0.519

[12, 1110] loss: 0.500

[12, 1140] loss: 0.497

[12, 1170] loss: 0.576

[12, 1200] loss: 0.565

[12, 1230] loss: 0.494

[12, 1260] loss: 0.465

[12, 1290] loss: 0.555

[12, 1320] loss: 0.522

[12, 1350] loss: 0.454

[12, 1380] loss: 0.449

[12, 1410] loss: 0.461

[12, 1440] loss: 0.519

[12, 1470] loss: 0.492

[12, 1500] loss: 0.478

[12, 1530] loss: 0.576

[12, 1560] loss: 0.524

[12, 1590] loss: 0.531

[12, 1620] loss: 0.502

[12, 1650] loss: 0.483

[12, 1680] loss: 0.545

[12, 1710] loss: 0.546

[12, 1740] loss: 0.532

[12, 1770] loss: 0.483

[12, 1800] loss: 0.527

[12, 1830] loss: 0.479

[12, 1860] loss: 0.487

[12, 1890] loss: 0.582

[12, 1920] loss: 0.534

[12, 1950] loss: 0.505

[12, 1980] loss: 0.536

[12, 2010] loss: 0.564

[12, 2040] loss: 0.516

[12, 2070] loss: 0.524

[12, 2100] loss: 0.547

[12, 2130] loss: 0.495

[12, 2160] loss: 0.520

[12, 2190] loss: 0.621

ovft_intermediate_models/epoch11_shallow.pt saved.


evaluating on training set...

Accuracy on test images: 0.884996

epoch 11 accuracy on train set is: 0.884996364958197

evaluating on training set takes 64 seconds.

shallow_train shallow_test scratch_train scratch_test deep_train deep_test

0 0.849396 0.875682 0.277854 0.251999 NaN NaN

1 0.868889 0.891948 0.473737 0.542803 NaN NaN

2 0.877249 0.90976 0.651877 0.724555 NaN NaN

3 0.883224 0.89522 0.742321 0.83197 NaN NaN

4 0.883679 0.908033 0.776081 0.848419 NaN NaN

5 0.894311 0.913304 0.830153 0.892857 NaN NaN

6 0.897492 0.917212 0.839399 0.894039 NaN NaN

7 0.88979 0.907306 0.869706 0.914304 NaN NaN

8 0.889427 0.907034 0.882656 0.925391 NaN NaN

9 0.890722 0.906307 0.903194 0.951018 NaN NaN

10 0.896924 0.902308 0.910305 0.941567 NaN NaN

11 0.884996 NaN 0.919257 0.959833 NaN NaN

12 NaN NaN 0.923687 0.96365 NaN NaN

13 NaN NaN 0.934115 0.961923 NaN NaN

14 NaN NaN 0.928253 0.96365 NaN NaN

15 NaN NaN 0.936796 0.96574 NaN NaN

16 NaN NaN 0.942794 0.970102 NaN NaN

17 NaN NaN 0.944089 0.969829 NaN NaN

18 NaN NaN 0.94293 0.972465 NaN NaN

19 NaN NaN 0.949041 0.973646 NaN NaN

20 NaN NaN 0.949677 0.973101 NaN NaN

21 NaN NaN 0.935751 0.955107 NaN NaN

22 NaN NaN 0.952449 0.973646 NaN NaN

23 NaN NaN 0.953085 0.97619 NaN NaN

24 NaN NaN 0.958879 0.979916 NaN NaN

25 NaN NaN 0.959333 0.980189 NaN NaN

26 NaN NaN 0.960492 0.977463 NaN NaN

27 NaN NaN 0.966058 0.984824 NaN NaN

28 NaN NaN 0.957425 0.976372 NaN NaN

29 NaN NaN 0.959606 0.976009 NaN NaN

30 NaN NaN 0.964195 0.985642 NaN NaN

31 NaN NaN 0.964626 0.985551 NaN NaN

32 NaN NaN 0.96424 0.985187 NaN NaN

33 NaN NaN 0.961469 0.980825 NaN NaN

34 NaN NaN 0.964967 0.985369 NaN NaN

35 NaN NaN 0.970306 0.98655 NaN NaN

36 NaN NaN 0.967489 0.978281 NaN NaN

37 NaN NaN 0.972146 0.987913 NaN NaN

38 NaN NaN 0.968284 0.985642 NaN NaN

39 NaN NaN 0.966898 0.987005 NaN NaN

evaluating on test set...

Accuracy on test images: 0.895856

epoch 11 accuracy on test set is: 0.895856052344602

evaluating on test set takes 16 seconds.

shallow_train shallow_test scratch_train scratch_test deep_train deep_test

0 0.849396 0.875682 0.277854 0.251999 NaN NaN

1 0.868889 0.891948 0.473737 0.542803 NaN NaN

2 0.877249 0.90976 0.651877 0.724555 NaN NaN

3 0.883224 0.89522 0.742321 0.83197 NaN NaN

4 0.883679 0.908033 0.776081 0.848419 NaN NaN

5 0.894311 0.913304 0.830153 0.892857 NaN NaN

6 0.897492 0.917212 0.839399 0.894039 NaN NaN

7 0.88979 0.907306 0.869706 0.914304 NaN NaN

8 0.889427 0.907034 0.882656 0.925391 NaN NaN

9 0.890722 0.906307 0.903194 0.951018 NaN NaN

10 0.896924 0.902308 0.910305 0.941567 NaN NaN

11 0.884996 0.895856 0.919257 0.959833 NaN NaN

12 NaN NaN 0.923687 0.96365 NaN NaN

13 NaN NaN 0.934115 0.961923 NaN NaN

14 NaN NaN 0.928253 0.96365 NaN NaN

15 NaN NaN 0.936796 0.96574 NaN NaN

16 NaN NaN 0.942794 0.970102 NaN NaN

17 NaN NaN 0.944089 0.969829 NaN NaN

18 NaN NaN 0.94293 0.972465 NaN NaN

19 NaN NaN 0.949041 0.973646 NaN NaN

20 NaN NaN 0.949677 0.973101 NaN NaN

21 NaN NaN 0.935751 0.955107 NaN NaN

22 NaN NaN 0.952449 0.973646 NaN NaN

23 NaN NaN 0.953085 0.97619 NaN NaN

24 NaN NaN 0.958879 0.979916 NaN NaN

25 NaN NaN 0.959333 0.980189 NaN NaN

26 NaN NaN 0.960492 0.977463 NaN NaN

27 NaN NaN 0.966058 0.984824 NaN NaN

28 NaN NaN 0.957425 0.976372 NaN NaN

29 NaN NaN 0.959606 0.976009 NaN NaN

30 NaN NaN 0.964195 0.985642 NaN NaN

31 NaN NaN 0.964626 0.985551 NaN NaN

32 NaN NaN 0.96424 0.985187 NaN NaN

33 NaN NaN 0.961469 0.980825 NaN NaN

34 NaN NaN 0.964967 0.985369 NaN NaN

35 NaN NaN 0.970306 0.98655 NaN NaN

36 NaN NaN 0.967489 0.978281 NaN NaN

37 NaN NaN 0.972146 0.987913 NaN NaN

38 NaN NaN 0.968284 0.985642 NaN NaN

39 NaN NaN 0.966898 0.987005 NaN NaN

epoch 11 takes 149 seconds.

[13, 30] loss: 0.600

[13, 60] loss: 0.488

[13, 90] loss: 0.584

[13, 120] loss: 0.499

[13, 150] loss: 0.514

[13, 180] loss: 0.481

[13, 210] loss: 0.484

[13, 240] loss: 0.491

[13, 270] loss: 0.548

[13, 300] loss: 0.594

[13, 330] loss: 0.475

[13, 360] loss: 0.451

[13, 390] loss: 0.457

[13, 420] loss: 0.445

[13, 450] loss: 0.504

[13, 480] loss: 0.533

[13, 510] loss: 0.556

[13, 540] loss: 0.508

[13, 570] loss: 0.535

[13, 600] loss: 0.539

[13, 630] loss: 0.543

[13, 660] loss: 0.443

[13, 690] loss: 0.480

[13, 720] loss: 0.589

[13, 750] loss: 0.435

[13, 780] loss: 0.530

[13, 810] loss: 0.480

[13, 840] loss: 0.491

[13, 870] loss: 0.564

[13, 900] loss: 0.486

[13, 930] loss: 0.528

[13, 960] loss: 0.477

[13, 990] loss: 0.513

[13, 1020] loss: 0.501

[13, 1050] loss: 0.521

[13, 1080] loss: 0.556

[13, 1110] loss: 0.500

[13, 1140] loss: 0.484

[13, 1170] loss: 0.490

[13, 1200] loss: 0.516

[13, 1230] loss: 0.552

[13, 1260] loss: 0.584

[13, 1290] loss: 0.689

[13, 1320] loss: 0.535

[13, 1350] loss: 0.460

[13, 1380] loss: 0.583

[13, 1410] loss: 0.426

[13, 1440] loss: 0.617

[13, 1470] loss: 0.464

[13, 1500] loss: 0.462

[13, 1530] loss: 0.565

[13, 1560] loss: 0.527

[13, 1590] loss: 0.452

[13, 1620] loss: 0.446

[13, 1650] loss: 0.499

[13, 1680] loss: 0.458

[13, 1710] loss: 0.504

[13, 1740] loss: 0.506

[13, 1770] loss: 0.529

[13, 1800] loss: 0.517

[13, 1830] loss: 0.518

[13, 1860] loss: 0.562

[13, 1890] loss: 0.558

[13, 1920] loss: 0.501

[13, 1950] loss: 0.522

[13, 1980] loss: 0.501

[13, 2010] loss: 0.514

[13, 2040] loss: 0.525

[13, 2070] loss: 0.510

[13, 2100] loss: 0.607

[13, 2130] loss: 0.545

[13, 2160] loss: 0.511

[13, 2190] loss: 0.584

ovft_intermediate_models/epoch12_shallow.pt saved.


evaluating on training set...

Accuracy on test images: 0.898628

epoch 12 accuracy on train set is: 0.8986277717193748

evaluating on training set takes 64 seconds.

shallow_train shallow_test scratch_train scratch_test deep_train deep_test

0 0.849396 0.875682 0.277854 0.251999 NaN NaN

1 0.868889 0.891948 0.473737 0.542803 NaN NaN

2 0.877249 0.90976 0.651877 0.724555 NaN NaN

3 0.883224 0.89522 0.742321 0.83197 NaN NaN

4 0.883679 0.908033 0.776081 0.848419 NaN NaN

5 0.894311 0.913304 0.830153 0.892857 NaN NaN

6 0.897492 0.917212 0.839399 0.894039 NaN NaN

7 0.88979 0.907306 0.869706 0.914304 NaN NaN

8 0.889427 0.907034 0.882656 0.925391 NaN NaN

9 0.890722 0.906307 0.903194 0.951018 NaN NaN

10 0.896924 0.902308 0.910305 0.941567 NaN NaN

11 0.884996 0.895856 0.919257 0.959833 NaN NaN

12 0.898628 NaN 0.923687 0.96365 NaN NaN

13 NaN NaN 0.934115 0.961923 NaN NaN

14 NaN NaN 0.928253 0.96365 NaN NaN

15 NaN NaN 0.936796 0.96574 NaN NaN

16 NaN NaN 0.942794 0.970102 NaN NaN

17 NaN NaN 0.944089 0.969829 NaN NaN

18 NaN NaN 0.94293 0.972465 NaN NaN

19 NaN NaN 0.949041 0.973646 NaN NaN

20 NaN NaN 0.949677 0.973101 NaN NaN

21 NaN NaN 0.935751 0.955107 NaN NaN

22 NaN NaN 0.952449 0.973646 NaN NaN

23 NaN NaN 0.953085 0.97619 NaN NaN

24 NaN NaN 0.958879 0.979916 NaN NaN

25 NaN NaN 0.959333 0.980189 NaN NaN

26 NaN NaN 0.960492 0.977463 NaN NaN

27 NaN NaN 0.966058 0.984824 NaN NaN

28 NaN NaN 0.957425 0.976372 NaN NaN

29 NaN NaN 0.959606 0.976009 NaN NaN

30 NaN NaN 0.964195 0.985642 NaN NaN

31 NaN NaN 0.964626 0.985551 NaN NaN

32 NaN NaN 0.96424 0.985187 NaN NaN

33 NaN NaN 0.961469 0.980825 NaN NaN

34 NaN NaN 0.964967 0.985369 NaN NaN

35 NaN NaN 0.970306 0.98655 NaN NaN

36 NaN NaN 0.967489 0.978281 NaN NaN

37 NaN NaN 0.972146 0.987913 NaN NaN

38 NaN NaN 0.968284 0.985642 NaN NaN

39 NaN NaN 0.966898 0.987005 NaN NaN

evaluating on test set...

Accuracy on test images: 0.925754

epoch 12 accuracy on test set is: 0.9257542711741185

evaluating on test set takes 16 seconds.

shallow_train shallow_test scratch_train scratch_test deep_train deep_test

0 0.849396 0.875682 0.277854 0.251999 NaN NaN

1 0.868889 0.891948 0.473737 0.542803 NaN NaN

2 0.877249 0.90976 0.651877 0.724555 NaN NaN

3 0.883224 0.89522 0.742321 0.83197 NaN NaN

4 0.883679 0.908033 0.776081 0.848419 NaN NaN

5 0.894311 0.913304 0.830153 0.892857 NaN NaN

6 0.897492 0.917212 0.839399 0.894039 NaN NaN

7 0.88979 0.907306 0.869706 0.914304 NaN NaN

8 0.889427 0.907034 0.882656 0.925391 NaN NaN

9 0.890722 0.906307 0.903194 0.951018 NaN NaN

10 0.896924 0.902308 0.910305 0.941567 NaN NaN

11 0.884996 0.895856 0.919257 0.959833 NaN NaN

12 0.898628 0.925754 0.923687 0.96365 NaN NaN

13 NaN NaN 0.934115 0.961923 NaN NaN

14 NaN NaN 0.928253 0.96365 NaN NaN

15 NaN NaN 0.936796 0.96574 NaN NaN

16 NaN NaN 0.942794 0.970102 NaN NaN

17 NaN NaN 0.944089 0.969829 NaN NaN

18 NaN NaN 0.94293 0.972465 NaN NaN

19 NaN NaN 0.949041 0.973646 NaN NaN

20 NaN NaN 0.949677 0.973101 NaN NaN

21 NaN NaN 0.935751 0.955107 NaN NaN

22 NaN NaN 0.952449 0.973646 NaN NaN

23 NaN NaN 0.953085 0.97619 NaN NaN

24 NaN NaN 0.958879 0.979916 NaN NaN

25 NaN NaN 0.959333 0.980189 NaN NaN

26 NaN NaN 0.960492 0.977463 NaN NaN

27 NaN NaN 0.966058 0.984824 NaN NaN

28 NaN NaN 0.957425 0.976372 NaN NaN

29 NaN NaN 0.959606 0.976009 NaN NaN

30 NaN NaN 0.964195 0.985642 NaN NaN

31 NaN NaN 0.964626 0.985551 NaN NaN

32 NaN NaN 0.96424 0.985187 NaN NaN

33 NaN NaN 0.961469 0.980825 NaN NaN

34 NaN NaN 0.964967 0.985369 NaN NaN

35 NaN NaN 0.970306 0.98655 NaN NaN

36 NaN NaN 0.967489 0.978281 NaN NaN

37 NaN NaN 0.972146 0.987913 NaN NaN

38 NaN NaN 0.968284 0.985642 NaN NaN

39 NaN NaN 0.966898 0.987005 NaN NaN

epoch 12 takes 149 seconds.

[14, 30] loss: 0.565

[14, 60] loss: 0.409

[14, 90] loss: 0.578

[14, 120] loss: 0.500

[14, 150] loss: 0.513

[14, 180] loss: 0.570

[14, 210] loss: 0.535

[14, 240] loss: 0.466

[14, 270] loss: 0.515

[14, 300] loss: 0.463

[14, 330] loss: 0.452

[14, 360] loss: 0.441

[14, 390] loss: 0.443

[14, 420] loss: 0.532

[14, 450] loss: 0.464

[14, 480] loss: 0.527

[14, 510] loss: 0.590

[14, 540] loss: 0.478

[14, 570] loss: 0.593

[14, 600] loss: 0.459

[14, 630] loss: 0.509

[14, 660] loss: 0.621

[14, 690] loss: 0.540

[14, 720] loss: 0.479

[14, 750] loss: 0.495

[14, 780] loss: 0.546

[14, 810] loss: 0.550

[14, 840] loss: 0.557

[14, 870] loss: 0.486

[14, 900] loss: 0.440

[14, 930] loss: 0.510

[14, 960] loss: 0.443

[14, 990] loss: 0.488

[14, 1020] loss: 0.455

[14, 1050] loss: 0.470

[14, 1080] loss: 0.470

[14, 1110] loss: 0.523

[14, 1140] loss: 0.461

[14, 1170] loss: 0.579

[14, 1200] loss: 0.463

[14, 1230] loss: 0.489

[14, 1260] loss: 0.480

[14, 1290] loss: 0.572

[14, 1320] loss: 0.503

[14, 1350] loss: 0.548

[14, 1380] loss: 0.446

[14, 1410] loss: 0.398

[14, 1440] loss: 0.492

[14, 1470] loss: 0.480

[14, 1500] loss: 0.506

[14, 1530] loss: 0.578

[14, 1560] loss: 0.534

[14, 1590] loss: 0.567

[14, 1620] loss: 0.550

[14, 1650] loss: 0.492

[14, 1680] loss: 0.537

[14, 1710] loss: 0.612

[14, 1740] loss: 0.474

[14, 1770] loss: 0.471

[14, 1800] loss: 0.519

[14, 1830] loss: 0.497

[14, 1860] loss: 0.514

[14, 1890] loss: 0.467

[14, 1920] loss: 0.502

[14, 1950] loss: 0.554

[14, 1980] loss: 0.515

[14, 2010] loss: 0.519

[14, 2040] loss: 0.565

[14, 2070] loss: 0.602

[14, 2100] loss: 0.561

[14, 2130] loss: 0.413

[14, 2160] loss: 0.517

[14, 2190] loss: 0.463

ovft_intermediate_models/epoch13_shallow.pt saved.


evaluating on training set...

Accuracy on test images: 0.901808

epoch 13 accuracy on train set is: 0.9018084332969829

evaluating on training set takes 64 seconds.

shallow_train shallow_test scratch_train scratch_test deep_train deep_test

0 0.849396 0.875682 0.277854 0.251999 NaN NaN

1 0.868889 0.891948 0.473737 0.542803 NaN NaN

2 0.877249 0.90976 0.651877 0.724555 NaN NaN

3 0.883224 0.89522 0.742321 0.83197 NaN NaN

4 0.883679 0.908033 0.776081 0.848419 NaN NaN

5 0.894311 0.913304 0.830153 0.892857 NaN NaN

6 0.897492 0.917212 0.839399 0.894039 NaN NaN

7 0.88979 0.907306 0.869706 0.914304 NaN NaN

8 0.889427 0.907034 0.882656 0.925391 NaN NaN

9 0.890722 0.906307 0.903194 0.951018 NaN NaN

10 0.896924 0.902308 0.910305 0.941567 NaN NaN

11 0.884996 0.895856 0.919257 0.959833 NaN NaN

12 0.898628 0.925754 0.923687 0.96365 NaN NaN

13 0.901808 NaN 0.934115 0.961923 NaN NaN

14 NaN NaN 0.928253 0.96365 NaN NaN

15 NaN NaN 0.936796 0.96574 NaN NaN

16 NaN NaN 0.942794 0.970102 NaN NaN

17 NaN NaN 0.944089 0.969829 NaN NaN

18 NaN NaN 0.94293 0.972465 NaN NaN

19 NaN NaN 0.949041 0.973646 NaN NaN

20 NaN NaN 0.949677 0.973101 NaN NaN

21 NaN NaN 0.935751 0.955107 NaN NaN

22 NaN NaN 0.952449 0.973646 NaN NaN

23 NaN NaN 0.953085 0.97619 NaN NaN

24 NaN NaN 0.958879 0.979916 NaN NaN

25 NaN NaN 0.959333 0.980189 NaN NaN

26 NaN NaN 0.960492 0.977463 NaN NaN

27 NaN NaN 0.966058 0.984824 NaN NaN

28 NaN NaN 0.957425 0.976372 NaN NaN

29 NaN NaN 0.959606 0.976009 NaN NaN

30 NaN NaN 0.964195 0.985642 NaN NaN

31 NaN NaN 0.964626 0.985551 NaN NaN

32 NaN NaN 0.96424 0.985187 NaN NaN

33 NaN NaN 0.961469 0.980825 NaN NaN

34 NaN NaN 0.964967 0.985369 NaN NaN

35 NaN NaN 0.970306 0.98655 NaN NaN

36 NaN NaN 0.967489 0.978281 NaN NaN

37 NaN NaN 0.972146 0.987913 NaN NaN

38 NaN NaN 0.968284 0.985642 NaN NaN

39 NaN NaN 0.966898 0.987005 NaN NaN

evaluating on test set...

Accuracy on test images: 0.914667

epoch 13 accuracy on test set is: 0.9146673936750273

evaluating on test set takes 16 seconds.

shallow_train shallow_test scratch_train scratch_test deep_train deep_test

0 0.849396 0.875682 0.277854 0.251999 NaN NaN

1 0.868889 0.891948 0.473737 0.542803 NaN NaN

2 0.877249 0.90976 0.651877 0.724555 NaN NaN

3 0.883224 0.89522 0.742321 0.83197 NaN NaN

4 0.883679 0.908033 0.776081 0.848419 NaN NaN

5 0.894311 0.913304 0.830153 0.892857 NaN NaN

6 0.897492 0.917212 0.839399 0.894039 NaN NaN

7 0.88979 0.907306 0.869706 0.914304 NaN NaN

8 0.889427 0.907034 0.882656 0.925391 NaN NaN

9 0.890722 0.906307 0.903194 0.951018 NaN NaN

10 0.896924 0.902308 0.910305 0.941567 NaN NaN

11 0.884996 0.895856 0.919257 0.959833 NaN NaN

12 0.898628 0.925754 0.923687 0.96365 NaN NaN

13 0.901808 0.914667 0.934115 0.961923 NaN NaN

14 NaN NaN 0.928253 0.96365 NaN NaN

15 NaN NaN 0.936796 0.96574 NaN NaN

16 NaN NaN 0.942794 0.970102 NaN NaN

17 NaN NaN 0.944089 0.969829 NaN NaN

18 NaN NaN 0.94293 0.972465 NaN NaN

19 NaN NaN 0.949041 0.973646 NaN NaN

20 NaN NaN 0.949677 0.973101 NaN NaN

21 NaN NaN 0.935751 0.955107 NaN NaN

22 NaN NaN 0.952449 0.973646 NaN NaN

23 NaN NaN 0.953085 0.97619 NaN NaN

24 NaN NaN 0.958879 0.979916 NaN NaN

25 NaN NaN 0.959333 0.980189 NaN NaN

26 NaN NaN 0.960492 0.977463 NaN NaN

27 NaN NaN 0.966058 0.984824 NaN NaN

28 NaN NaN 0.957425 0.976372 NaN NaN

29 NaN NaN 0.959606 0.976009 NaN NaN

30 NaN NaN 0.964195 0.985642 NaN NaN

31 NaN NaN 0.964626 0.985551 NaN NaN

32 NaN NaN 0.96424 0.985187 NaN NaN

33 NaN NaN 0.961469 0.980825 NaN NaN

34 NaN NaN 0.964967 0.985369 NaN NaN

35 NaN NaN 0.970306 0.98655 NaN NaN

36 NaN NaN 0.967489 0.978281 NaN NaN

37 NaN NaN 0.972146 0.987913 NaN NaN

38 NaN NaN 0.968284 0.985642 NaN NaN

39 NaN NaN 0.966898 0.987005 NaN NaN

epoch 13 takes 149 seconds.

[15, 30] loss: 0.552

[15, 60] loss: 0.447

[15, 90] loss: 0.480

[15, 120] loss: 0.432

[15, 150] loss: 0.470

[15, 180] loss: 0.495

[15, 210] loss: 0.397

[15, 240] loss: 0.506

[15, 270] loss: 0.540

[15, 300] loss: 0.503

[15, 330] loss: 0.496

[15, 360] loss: 0.556

[15, 390] loss: 0.489

[15, 420] loss: 0.639

[15, 450] loss: 0.513

[15, 480] loss: 0.535

[15, 510] loss: 0.508

[15, 540] loss: 0.508

[15, 570] loss: 0.498

[15, 600] loss: 0.488

[15, 630] loss: 0.534

[15, 660] loss: 0.491

[15, 690] loss: 0.561

[15, 720] loss: 0.474

[15, 750] loss: 0.563

[15, 780] loss: 0.496

[15, 810] loss: 0.495

[15, 840] loss: 0.501

[15, 870] loss: 0.520

[15, 900] loss: 0.573

[15, 930] loss: 0.561

[15, 960] loss: 0.566

[15, 990] loss: 0.427

[15, 1020] loss: 0.479

[15, 1050] loss: 0.561

[15, 1080] loss: 0.579

[15, 1110] loss: 0.523

[15, 1140] loss: 0.460

[15, 1170] loss: 0.481

[15, 1200] loss: 0.547

[15, 1230] loss: 0.477

[15, 1260] loss: 0.506

[15, 1290] loss: 0.491

[15, 1320] loss: 0.444

[15, 1350] loss: 0.474

[15, 1380] loss: 0.477

[15, 1410] loss: 0.504

[15, 1440] loss: 0.502

[15, 1470] loss: 0.519

[15, 1500] loss: 0.444

[15, 1530] loss: 0.452

[15, 1560] loss: 0.463

[15, 1590] loss: 0.532

[15, 1620] loss: 0.575

[15, 1650] loss: 0.534

[15, 1680] loss: 0.564

[15, 1710] loss: 0.499

[15, 1740] loss: 0.476

[15, 1770] loss: 0.563

[15, 1800] loss: 0.507

[15, 1830] loss: 0.536

[15, 1860] loss: 0.445

[15, 1890] loss: 0.496

[15, 1920] loss: 0.496

[15, 1950] loss: 0.454

[15, 1980] loss: 0.449

[15, 2010] loss: 0.486

[15, 2040] loss: 0.606

[15, 2070] loss: 0.507

[15, 2100] loss: 0.614

[15, 2130] loss: 0.493

[15, 2160] loss: 0.544

[15, 2190] loss: 0.432

ovft_intermediate_models/epoch14_shallow.pt saved.


evaluating on training set...

Accuracy on test images: 0.896356

epoch 14 accuracy on train set is: 0.8963558705925118

evaluating on training set takes 64 seconds.

shallow_train shallow_test scratch_train scratch_test deep_train deep_test

0 0.849396 0.875682 0.277854 0.251999 NaN NaN

1 0.868889 0.891948 0.473737 0.542803 NaN NaN

2 0.877249 0.90976 0.651877 0.724555 NaN NaN

3 0.883224 0.89522 0.742321 0.83197 NaN NaN

4 0.883679 0.908033 0.776081 0.848419 NaN NaN

5 0.894311 0.913304 0.830153 0.892857 NaN NaN

6 0.897492 0.917212 0.839399 0.894039 NaN NaN

7 0.88979 0.907306 0.869706 0.914304 NaN NaN

8 0.889427 0.907034 0.882656 0.925391 NaN NaN

9 0.890722 0.906307 0.903194 0.951018 NaN NaN

10 0.896924 0.902308 0.910305 0.941567 NaN NaN

11 0.884996 0.895856 0.919257 0.959833 NaN NaN

12 0.898628 0.925754 0.923687 0.96365 NaN NaN

13 0.901808 0.914667 0.934115 0.961923 NaN NaN

14 0.896356 NaN 0.928253 0.96365 NaN NaN

15 NaN NaN 0.936796 0.96574 NaN NaN

16 NaN NaN 0.942794 0.970102 NaN NaN

17 NaN NaN 0.944089 0.969829 NaN NaN

18 NaN NaN 0.94293 0.972465 NaN NaN

19 NaN NaN 0.949041 0.973646 NaN NaN

20 NaN NaN 0.949677 0.973101 NaN NaN

21 NaN NaN 0.935751 0.955107 NaN NaN

22 NaN NaN 0.952449 0.973646 NaN NaN

23 NaN NaN 0.953085 0.97619 NaN NaN

24 NaN NaN 0.958879 0.979916 NaN NaN

25 NaN NaN 0.959333 0.980189 NaN NaN

26 NaN NaN 0.960492 0.977463 NaN NaN

27 NaN NaN 0.966058 0.984824 NaN NaN

28 NaN NaN 0.957425 0.976372 NaN NaN

29 NaN NaN 0.959606 0.976009 NaN NaN

30 NaN NaN 0.964195 0.985642 NaN NaN

31 NaN NaN 0.964626 0.985551 NaN NaN

32 NaN NaN 0.96424 0.985187 NaN NaN

33 NaN NaN 0.961469 0.980825 NaN NaN

34 NaN NaN 0.964967 0.985369 NaN NaN

35 NaN NaN 0.970306 0.98655 NaN NaN

36 NaN NaN 0.967489 0.978281 NaN NaN

37 NaN NaN 0.972146 0.987913 NaN NaN

38 NaN NaN 0.968284 0.985642 NaN NaN

39 NaN NaN 0.966898 0.987005 NaN NaN

evaluating on test set...

Accuracy on test images: 0.921756

epoch 14 accuracy on test set is: 0.9217557251908397

evaluating on test set takes 16 seconds.

shallow_train shallow_test scratch_train scratch_test deep_train deep_test

0 0.849396 0.875682 0.277854 0.251999 NaN NaN

1 0.868889 0.891948 0.473737 0.542803 NaN NaN

2 0.877249 0.90976 0.651877 0.724555 NaN NaN

3 0.883224 0.89522 0.742321 0.83197 NaN NaN

4 0.883679 0.908033 0.776081 0.848419 NaN NaN

5 0.894311 0.913304 0.830153 0.892857 NaN NaN

6 0.897492 0.917212 0.839399 0.894039 NaN NaN

7 0.88979 0.907306 0.869706 0.914304 NaN NaN

8 0.889427 0.907034 0.882656 0.925391 NaN NaN

9 0.890722 0.906307 0.903194 0.951018 NaN NaN

10 0.896924 0.902308 0.910305 0.941567 NaN NaN

11 0.884996 0.895856 0.919257 0.959833 NaN NaN

12 0.898628 0.925754 0.923687 0.96365 NaN NaN

13 0.901808 0.914667 0.934115 0.961923 NaN NaN

14 0.896356 0.921756 0.928253 0.96365 NaN NaN

15 NaN NaN 0.936796 0.96574 NaN NaN

16 NaN NaN 0.942794 0.970102 NaN NaN

17 NaN NaN 0.944089 0.969829 NaN NaN

18 NaN NaN 0.94293 0.972465 NaN NaN

19 NaN NaN 0.949041 0.973646 NaN NaN

20 NaN NaN 0.949677 0.973101 NaN NaN

21 NaN NaN 0.935751 0.955107 NaN NaN

22 NaN NaN 0.952449 0.973646 NaN NaN

23 NaN NaN 0.953085 0.97619 NaN NaN

24 NaN NaN 0.958879 0.979916 NaN NaN

25 NaN NaN 0.959333 0.980189 NaN NaN

26 NaN NaN 0.960492 0.977463 NaN NaN

27 NaN NaN 0.966058 0.984824 NaN NaN

28 NaN NaN 0.957425 0.976372 NaN NaN

29 NaN NaN 0.959606 0.976009 NaN NaN

30 NaN NaN 0.964195 0.985642 NaN NaN

31 NaN NaN 0.964626 0.985551 NaN NaN

32 NaN NaN 0.96424 0.985187 NaN NaN

33 NaN NaN 0.961469 0.980825 NaN NaN

34 NaN NaN 0.964967 0.985369 NaN NaN

35 NaN NaN 0.970306 0.98655 NaN NaN

36 NaN NaN 0.967489 0.978281 NaN NaN

37 NaN NaN 0.972146 0.987913 NaN NaN

38 NaN NaN 0.968284 0.985642 NaN NaN

39 NaN NaN 0.966898 0.987005 NaN NaN

epoch 14 takes 149 seconds.

[16, 30] loss: 0.501

[16, 60] loss: 0.505

[16, 90] loss: 0.467

[16, 120] loss: 0.528

[16, 150] loss: 0.489

[16, 180] loss: 0.476

[16, 210] loss: 0.460

[16, 240] loss: 0.558

[16, 270] loss: 0.567

[16, 300] loss: 0.452

[16, 330] loss: 0.517

[16, 360] loss: 0.549

[16, 390] loss: 0.470

[16, 420] loss: 0.567

[16, 450] loss: 0.440

[16, 480] loss: 0.536

[16, 510] loss: 0.549

[16, 540] loss: 0.494

[16, 570] loss: 0.461

[16, 600] loss: 0.486

[16, 630] loss: 0.503

[16, 660] loss: 0.558

[16, 690] loss: 0.505

[16, 720] loss: 0.559

[16, 750] loss: 0.519

[16, 780] loss: 0.545

[16, 810] loss: 0.562

[16, 840] loss: 0.457

[16, 870] loss: 0.492

[16, 900] loss: 0.550

[16, 930] loss: 0.426

[16, 960] loss: 0.542

[16, 990] loss: 0.488

[16, 1020] loss: 0.459

[16, 1050] loss: 0.458

[16, 1080] loss: 0.475

[16, 1110] loss: 0.502

[16, 1140] loss: 0.501

[16, 1170] loss: 0.478

[16, 1200] loss: 0.554

[16, 1230] loss: 0.513

[16, 1260] loss: 0.486

[16, 1290] loss: 0.528

[16, 1320] loss: 0.634

[16, 1350] loss: 0.461

[16, 1380] loss: 0.453

[16, 1410] loss: 0.503

[16, 1440] loss: 0.509

[16, 1470] loss: 0.514

[16, 1500] loss: 0.583

[16, 1530] loss: 0.559

[16, 1560] loss: 0.450

[16, 1590] loss: 0.511

[16, 1620] loss: 0.490

[16, 1650] loss: 0.559

[16, 1680] loss: 0.514

[16, 1710] loss: 0.542

[16, 1740] loss: 0.625

[16, 1770] loss: 0.517

[16, 1800] loss: 0.403

[16, 1830] loss: 0.450

[16, 1860] loss: 0.485

[16, 1890] loss: 0.540

[16, 1920] loss: 0.455

[16, 1950] loss: 0.465

[16, 1980] loss: 0.486

[16, 2010] loss: 0.494

[16, 2040] loss: 0.465

[16, 2070] loss: 0.565

[16, 2100] loss: 0.369

[16, 2130] loss: 0.425

[16, 2160] loss: 0.526

[16, 2190] loss: 0.508

ovft_intermediate_models/epoch15_shallow.pt saved.


evaluating on training set...

Accuracy on test images: 0.903694

epoch 15 accuracy on train set is: 0.9036941112322792

evaluating on training set takes 64 seconds.

shallow_train shallow_test scratch_train scratch_test deep_train deep_test

0 0.849396 0.875682 0.277854 0.251999 NaN NaN

1 0.868889 0.891948 0.473737 0.542803 NaN NaN

2 0.877249 0.90976 0.651877 0.724555 NaN NaN

3 0.883224 0.89522 0.742321 0.83197 NaN NaN

4 0.883679 0.908033 0.776081 0.848419 NaN NaN

5 0.894311 0.913304 0.830153 0.892857 NaN NaN

6 0.897492 0.917212 0.839399 0.894039 NaN NaN

7 0.88979 0.907306 0.869706 0.914304 NaN NaN

8 0.889427 0.907034 0.882656 0.925391 NaN NaN

9 0.890722 0.906307 0.903194 0.951018 NaN NaN

10 0.896924 0.902308 0.910305 0.941567 NaN NaN

11 0.884996 0.895856 0.919257 0.959833 NaN NaN

12 0.898628 0.925754 0.923687 0.96365 NaN NaN

13 0.901808 0.914667 0.934115 0.961923 NaN NaN

14 0.896356 0.921756 0.928253 0.96365 NaN NaN

15 0.903694 NaN 0.936796 0.96574 NaN NaN

16 NaN NaN 0.942794 0.970102 NaN NaN

17 NaN NaN 0.944089 0.969829 NaN NaN

18 NaN NaN 0.94293 0.972465 NaN NaN

19 NaN NaN 0.949041 0.973646 NaN NaN

20 NaN NaN 0.949677 0.973101 NaN NaN

21 NaN NaN 0.935751 0.955107 NaN NaN

22 NaN NaN 0.952449 0.973646 NaN NaN

23 NaN NaN 0.953085 0.97619 NaN NaN

24 NaN NaN 0.958879 0.979916 NaN NaN

25 NaN NaN 0.959333 0.980189 NaN NaN

26 NaN NaN 0.960492 0.977463 NaN NaN

27 NaN NaN 0.966058 0.984824 NaN NaN

28 NaN NaN 0.957425 0.976372 NaN NaN

29 NaN NaN 0.959606 0.976009 NaN NaN

30 NaN NaN 0.964195 0.985642 NaN NaN

31 NaN NaN 0.964626 0.985551 NaN NaN

32 NaN NaN 0.96424 0.985187 NaN NaN

33 NaN NaN 0.961469 0.980825 NaN NaN

34 NaN NaN 0.964967 0.985369 NaN NaN

35 NaN NaN 0.970306 0.98655 NaN NaN

36 NaN NaN 0.967489 0.978281 NaN NaN

37 NaN NaN 0.972146 0.987913 NaN NaN

38 NaN NaN 0.968284 0.985642 NaN NaN

39 NaN NaN 0.966898 0.987005 NaN NaN

evaluating on test set...

Accuracy on test images: 0.921392

epoch 15 accuracy on test set is: 0.9213922210105416

evaluating on test set takes 16 seconds.

shallow_train shallow_test scratch_train scratch_test deep_train deep_test

0 0.849396 0.875682 0.277854 0.251999 NaN NaN

1 0.868889 0.891948 0.473737 0.542803 NaN NaN

2 0.877249 0.90976 0.651877 0.724555 NaN NaN

3 0.883224 0.89522 0.742321 0.83197 NaN NaN

4 0.883679 0.908033 0.776081 0.848419 NaN NaN

5 0.894311 0.913304 0.830153 0.892857 NaN NaN

6 0.897492 0.917212 0.839399 0.894039 NaN NaN

7 0.88979 0.907306 0.869706 0.914304 NaN NaN

8 0.889427 0.907034 0.882656 0.925391 NaN NaN

9 0.890722 0.906307 0.903194 0.951018 NaN NaN

10 0.896924 0.902308 0.910305 0.941567 NaN NaN

11 0.884996 0.895856 0.919257 0.959833 NaN NaN

12 0.898628 0.925754 0.923687 0.96365 NaN NaN

13 0.901808 0.914667 0.934115 0.961923 NaN NaN

14 0.896356 0.921756 0.928253 0.96365 NaN NaN

15 0.903694 0.921392 0.936796 0.96574 NaN NaN

16 NaN NaN 0.942794 0.970102 NaN NaN

17 NaN NaN 0.944089 0.969829 NaN NaN

18 NaN NaN 0.94293 0.972465 NaN NaN

19 NaN NaN 0.949041 0.973646 NaN NaN

20 NaN NaN 0.949677 0.973101 NaN NaN

21 NaN NaN 0.935751 0.955107 NaN NaN

22 NaN NaN 0.952449 0.973646 NaN NaN

23 NaN NaN 0.953085 0.97619 NaN NaN

24 NaN NaN 0.958879 0.979916 NaN NaN

25 NaN NaN 0.959333 0.980189 NaN NaN

26 NaN NaN 0.960492 0.977463 NaN NaN

27 NaN NaN 0.966058 0.984824 NaN NaN

28 NaN NaN 0.957425 0.976372 NaN NaN

29 NaN NaN 0.959606 0.976009 NaN NaN

30 NaN NaN 0.964195 0.985642 NaN NaN

31 NaN NaN 0.964626 0.985551 NaN NaN

32 NaN NaN 0.96424 0.985187 NaN NaN

33 NaN NaN 0.961469 0.980825 NaN NaN

34 NaN NaN 0.964967 0.985369 NaN NaN

35 NaN NaN 0.970306 0.98655 NaN NaN

36 NaN NaN 0.967489 0.978281 NaN NaN

37 NaN NaN 0.972146 0.987913 NaN NaN

38 NaN NaN 0.968284 0.985642 NaN NaN

39 NaN NaN 0.966898 0.987005 NaN NaN

epoch 15 takes 149 seconds.

[17, 30] loss: 0.527

[17, 60] loss: 0.475

[17, 90] loss: 0.543

[17, 120] loss: 0.511

[17, 150] loss: 0.421

[17, 180] loss: 0.511

[17, 210] loss: 0.440

[17, 240] loss: 0.416

[17, 270] loss: 0.428

[17, 300] loss: 0.504

[17, 330] loss: 0.424

[17, 360] loss: 0.458

[17, 390] loss: 0.536

[17, 420] loss: 0.585

[17, 450] loss: 0.507

[17, 480] loss: 0.565

[17, 510] loss: 0.520

[17, 540] loss: 0.503

[17, 570] loss: 0.432

[17, 600] loss: 0.457

[17, 630] loss: 0.457

[17, 660] loss: 0.503

[17, 690] loss: 0.505

[17, 720] loss: 0.543

[17, 750] loss: 0.439

[17, 780] loss: 0.518

[17, 810] loss: 0.546

[17, 840] loss: 0.522

[17, 870] loss: 0.465

[17, 900] loss: 0.454

[17, 930] loss: 0.563

[17, 960] loss: 0.532

[17, 990] loss: 0.438

[17, 1020] loss: 0.518

[17, 1050] loss: 0.457

[17, 1080] loss: 0.471

[17, 1110] loss: 0.581

[17, 1140] loss: 0.450

[17, 1170] loss: 0.444

[17, 1200] loss: 0.466

[17, 1230] loss: 0.546

[17, 1260] loss: 0.441

[17, 1290] loss: 0.487

[17, 1320] loss: 0.470

[17, 1350] loss: 0.475

[17, 1380] loss: 0.529

[17, 1410] loss: 0.638

[17, 1440] loss: 0.473

[17, 1470] loss: 0.494

[17, 1500] loss: 0.478

[17, 1530] loss: 0.532

[17, 1560] loss: 0.532

[17, 1590] loss: 0.595

[17, 1620] loss: 0.505

[17, 1650] loss: 0.431

[17, 1680] loss: 0.475

[17, 1710] loss: 0.561

[17, 1740] loss: 0.444

[17, 1770] loss: 0.612

[17, 1800] loss: 0.515

[17, 1830] loss: 0.529

[17, 1860] loss: 0.493

[17, 1890] loss: 0.522

[17, 1920] loss: 0.456

[17, 1950] loss: 0.466

[17, 1980] loss: 0.498

[17, 2010] loss: 0.486

[17, 2040] loss: 0.464

[17, 2070] loss: 0.418

[17, 2100] loss: 0.616

[17, 2130] loss: 0.510

[17, 2160] loss: 0.521

[17, 2190] loss: 0.524

ovft_intermediate_models/epoch16_shallow.pt saved.


evaluating on training set...

Accuracy on test images: 0.903967

epoch 16 accuracy on train set is: 0.9039667393675027

evaluating on training set takes 64 seconds.

shallow_train shallow_test scratch_train scratch_test deep_train deep_test

0 0.849396 0.875682 0.277854 0.251999 NaN NaN

1 0.868889 0.891948 0.473737 0.542803 NaN NaN

2 0.877249 0.90976 0.651877 0.724555 NaN NaN

3 0.883224 0.89522 0.742321 0.83197 NaN NaN

4 0.883679 0.908033 0.776081 0.848419 NaN NaN

5 0.894311 0.913304 0.830153 0.892857 NaN NaN

6 0.897492 0.917212 0.839399 0.894039 NaN NaN

7 0.88979 0.907306 0.869706 0.914304 NaN NaN

8 0.889427 0.907034 0.882656 0.925391 NaN NaN

9 0.890722 0.906307 0.903194 0.951018 NaN NaN

10 0.896924 0.902308 0.910305 0.941567 NaN NaN

11 0.884996 0.895856 0.919257 0.959833 NaN NaN

12 0.898628 0.925754 0.923687 0.96365 NaN NaN

13 0.901808 0.914667 0.934115 0.961923 NaN NaN

14 0.896356 0.921756 0.928253 0.96365 NaN NaN

15 0.903694 0.921392 0.936796 0.96574 NaN NaN

16 0.903967 NaN 0.942794 0.970102 NaN NaN

17 NaN NaN 0.944089 0.969829 NaN NaN

18 NaN NaN 0.94293 0.972465 NaN NaN

19 NaN NaN 0.949041 0.973646 NaN NaN

20 NaN NaN 0.949677 0.973101 NaN NaN

21 NaN NaN 0.935751 0.955107 NaN NaN

22 NaN NaN 0.952449 0.973646 NaN NaN

23 NaN NaN 0.953085 0.97619 NaN NaN

24 NaN NaN 0.958879 0.979916 NaN NaN

25 NaN NaN 0.959333 0.980189 NaN NaN

26 NaN NaN 0.960492 0.977463 NaN NaN

27 NaN NaN 0.966058 0.984824 NaN NaN

28 NaN NaN 0.957425 0.976372 NaN NaN

29 NaN NaN 0.959606 0.976009 NaN NaN

30 NaN NaN 0.964195 0.985642 NaN NaN

31 NaN NaN 0.964626 0.985551 NaN NaN

32 NaN NaN 0.96424 0.985187 NaN NaN

33 NaN NaN 0.961469 0.980825 NaN NaN

34 NaN NaN 0.964967 0.985369 NaN NaN

35 NaN NaN 0.970306 0.98655 NaN NaN

36 NaN NaN 0.967489 0.978281 NaN NaN

37 NaN NaN 0.972146 0.987913 NaN NaN

38 NaN NaN 0.968284 0.985642 NaN NaN

39 NaN NaN 0.966898 0.987005 NaN NaN

evaluating on test set...

Accuracy on test images: 0.917121

epoch 16 accuracy on test set is: 0.9171210468920392

evaluating on test set takes 16 seconds.

shallow_train shallow_test scratch_train scratch_test deep_train deep_test

0 0.849396 0.875682 0.277854 0.251999 NaN NaN

1 0.868889 0.891948 0.473737 0.542803 NaN NaN

2 0.877249 0.90976 0.651877 0.724555 NaN NaN

3 0.883224 0.89522 0.742321 0.83197 NaN NaN

4 0.883679 0.908033 0.776081 0.848419 NaN NaN

5 0.894311 0.913304 0.830153 0.892857 NaN NaN

6 0.897492 0.917212 0.839399 0.894039 NaN NaN

7 0.88979 0.907306 0.869706 0.914304 NaN NaN

8 0.889427 0.907034 0.882656 0.925391 NaN NaN

9 0.890722 0.906307 0.903194 0.951018 NaN NaN

10 0.896924 0.902308 0.910305 0.941567 NaN NaN

11 0.884996 0.895856 0.919257 0.959833 NaN NaN

12 0.898628 0.925754 0.923687 0.96365 NaN NaN

13 0.901808 0.914667 0.934115 0.961923 NaN NaN

14 0.896356 0.921756 0.928253 0.96365 NaN NaN

15 0.903694 0.921392 0.936796 0.96574 NaN NaN

16 0.903967 0.917121 0.942794 0.970102 NaN NaN

17 NaN NaN 0.944089 0.969829 NaN NaN

18 NaN NaN 0.94293 0.972465 NaN NaN

19 NaN NaN 0.949041 0.973646 NaN NaN

20 NaN NaN 0.949677 0.973101 NaN NaN

21 NaN NaN 0.935751 0.955107 NaN NaN

22 NaN NaN 0.952449 0.973646 NaN NaN

23 NaN NaN 0.953085 0.97619 NaN NaN

24 NaN NaN 0.958879 0.979916 NaN NaN

25 NaN NaN 0.959333 0.980189 NaN NaN

26 NaN NaN 0.960492 0.977463 NaN NaN

27 NaN NaN 0.966058 0.984824 NaN NaN

28 NaN NaN 0.957425 0.976372 NaN NaN

29 NaN NaN 0.959606 0.976009 NaN NaN

30 NaN NaN 0.964195 0.985642 NaN NaN

31 NaN NaN 0.964626 0.985551 NaN NaN

32 NaN NaN 0.96424 0.985187 NaN NaN

33 NaN NaN 0.961469 0.980825 NaN NaN

34 NaN NaN 0.964967 0.985369 NaN NaN

35 NaN NaN 0.970306 0.98655 NaN NaN

36 NaN NaN 0.967489 0.978281 NaN NaN

37 NaN NaN 0.972146 0.987913 NaN NaN

38 NaN NaN 0.968284 0.985642 NaN NaN

39 NaN NaN 0.966898 0.987005 NaN NaN

epoch 16 takes 149 seconds.

[18, 30] loss: 0.522

[18, 60] loss: 0.496

[18, 90] loss: 0.457

[18, 120] loss: 0.461

[18, 150] loss: 0.585

[18, 180] loss: 0.435

[18, 210] loss: 0.552

[18, 240] loss: 0.450

[18, 270] loss: 0.452

[18, 300] loss: 0.514

[18, 330] loss: 0.487

[18, 360] loss: 0.533

[18, 390] loss: 0.531

[18, 420] loss: 0.461

[18, 450] loss: 0.508

[18, 480] loss: 0.480

[18, 510] loss: 0.494

[18, 540] loss: 0.471

[18, 570] loss: 0.451

[18, 600] loss: 0.597

[18, 630] loss: 0.498

[18, 660] loss: 0.522

[18, 690] loss: 0.478

[18, 720] loss: 0.480

[18, 750] loss: 0.520

[18, 780] loss: 0.447

[18, 810] loss: 0.536

[18, 840] loss: 0.387

[18, 870] loss: 0.442

[18, 900] loss: 0.430

[18, 930] loss: 0.501

[18, 960] loss: 0.465

[18, 990] loss: 0.501

[18, 1020] loss: 0.502

[18, 1050] loss: 0.413

[18, 1080] loss: 0.502

[18, 1110] loss: 0.505

[18, 1140] loss: 0.522

[18, 1170] loss: 0.471

[18, 1200] loss: 0.528

[18, 1230] loss: 0.472

[18, 1260] loss: 0.462

[18, 1290] loss: 0.411

[18, 1320] loss: 0.485

[18, 1350] loss: 0.592

[18, 1380] loss: 0.453

[18, 1410] loss: 0.440

[18, 1440] loss: 0.503

[18, 1470] loss: 0.530

[18, 1500] loss: 0.506

[18, 1530] loss: 0.574

[18, 1560] loss: 0.538

[18, 1590] loss: 0.381

[18, 1620] loss: 0.507

[18, 1650] loss: 0.461

[18, 1680] loss: 0.480

[18, 1710] loss: 0.355

[18, 1740] loss: 0.477

[18, 1770] loss: 0.518

[18, 1800] loss: 0.556

[18, 1830] loss: 0.486

[18, 1860] loss: 0.468

[18, 1890] loss: 0.473

[18, 1920] loss: 0.505

[18, 1950] loss: 0.561

[18, 1980] loss: 0.446

[18, 2010] loss: 0.432

[18, 2040] loss: 0.396

[18, 2070] loss: 0.543

[18, 2100] loss: 0.474

[18, 2130] loss: 0.576

[18, 2160] loss: 0.559

[18, 2190] loss: 0.522

ovft_intermediate_models/epoch17_shallow.pt saved.


evaluating on training set...

Accuracy on test images: 0.899696

epoch 17 accuracy on train set is: 0.8996955652490004

evaluating on training set takes 64 seconds.

shallow_train shallow_test scratch_train scratch_test deep_train deep_test

0 0.849396 0.875682 0.277854 0.251999 NaN NaN

1 0.868889 0.891948 0.473737 0.542803 NaN NaN

2 0.877249 0.90976 0.651877 0.724555 NaN NaN

3 0.883224 0.89522 0.742321 0.83197 NaN NaN

4 0.883679 0.908033 0.776081 0.848419 NaN NaN

5 0.894311 0.913304 0.830153 0.892857 NaN NaN

6 0.897492 0.917212 0.839399 0.894039 NaN NaN

7 0.88979 0.907306 0.869706 0.914304 NaN NaN

8 0.889427 0.907034 0.882656 0.925391 NaN NaN

9 0.890722 0.906307 0.903194 0.951018 NaN NaN

10 0.896924 0.902308 0.910305 0.941567 NaN NaN

11 0.884996 0.895856 0.919257 0.959833 NaN NaN

12 0.898628 0.925754 0.923687 0.96365 NaN NaN

13 0.901808 0.914667 0.934115 0.961923 NaN NaN

14 0.896356 0.921756 0.928253 0.96365 NaN NaN

15 0.903694 0.921392 0.936796 0.96574 NaN NaN

16 0.903967 0.917121 0.942794 0.970102 NaN NaN

17 0.899696 NaN 0.944089 0.969829 NaN NaN

18 NaN NaN 0.94293 0.972465 NaN NaN

19 NaN NaN 0.949041 0.973646 NaN NaN

20 NaN NaN 0.949677 0.973101 NaN NaN

21 NaN NaN 0.935751 0.955107 NaN NaN

22 NaN NaN 0.952449 0.973646 NaN NaN

23 NaN NaN 0.953085 0.97619 NaN NaN

24 NaN NaN 0.958879 0.979916 NaN NaN

25 NaN NaN 0.959333 0.980189 NaN NaN

26 NaN NaN 0.960492 0.977463 NaN NaN

27 NaN NaN 0.966058 0.984824 NaN NaN

28 NaN NaN 0.957425 0.976372 NaN NaN

29 NaN NaN 0.959606 0.976009 NaN NaN

30 NaN NaN 0.964195 0.985642 NaN NaN

31 NaN NaN 0.964626 0.985551 NaN NaN

32 NaN NaN 0.96424 0.985187 NaN NaN

33 NaN NaN 0.961469 0.980825 NaN NaN

34 NaN NaN 0.964967 0.985369 NaN NaN

35 NaN NaN 0.970306 0.98655 NaN NaN

36 NaN NaN 0.967489 0.978281 NaN NaN

37 NaN NaN 0.972146 0.987913 NaN NaN

38 NaN NaN 0.968284 0.985642 NaN NaN

39 NaN NaN 0.966898 0.987005 NaN NaN

evaluating on test set...

Accuracy on test images: 0.916303

epoch 17 accuracy on test set is: 0.9163031624863686

evaluating on test set takes 16 seconds.

shallow_train shallow_test scratch_train scratch_test deep_train deep_test

0 0.849396 0.875682 0.277854 0.251999 NaN NaN

1 0.868889 0.891948 0.473737 0.542803 NaN NaN

2 0.877249 0.90976 0.651877 0.724555 NaN NaN

3 0.883224 0.89522 0.742321 0.83197 NaN NaN

4 0.883679 0.908033 0.776081 0.848419 NaN NaN

5 0.894311 0.913304 0.830153 0.892857 NaN NaN

6 0.897492 0.917212 0.839399 0.894039 NaN NaN

7 0.88979 0.907306 0.869706 0.914304 NaN NaN

8 0.889427 0.907034 0.882656 0.925391 NaN NaN

9 0.890722 0.906307 0.903194 0.951018 NaN NaN

10 0.896924 0.902308 0.910305 0.941567 NaN NaN

11 0.884996 0.895856 0.919257 0.959833 NaN NaN

12 0.898628 0.925754 0.923687 0.96365 NaN NaN

13 0.901808 0.914667 0.934115 0.961923 NaN NaN

14 0.896356 0.921756 0.928253 0.96365 NaN NaN

15 0.903694 0.921392 0.936796 0.96574 NaN NaN

16 0.903967 0.917121 0.942794 0.970102 NaN NaN

17 0.899696 0.916303 0.944089 0.969829 NaN NaN

18 NaN NaN 0.94293 0.972465 NaN NaN

19 NaN NaN 0.949041 0.973646 NaN NaN

20 NaN NaN 0.949677 0.973101 NaN NaN

21 NaN NaN 0.935751 0.955107 NaN NaN

22 NaN NaN 0.952449 0.973646 NaN NaN

23 NaN NaN 0.953085 0.97619 NaN NaN

24 NaN NaN 0.958879 0.979916 NaN NaN

25 NaN NaN 0.959333 0.980189 NaN NaN

26 NaN NaN 0.960492 0.977463 NaN NaN

27 NaN NaN 0.966058 0.984824 NaN NaN

28 NaN NaN 0.957425 0.976372 NaN NaN

29 NaN NaN 0.959606 0.976009 NaN NaN

30 NaN NaN 0.964195 0.985642 NaN NaN

31 NaN NaN 0.964626 0.985551 NaN NaN

32 NaN NaN 0.96424 0.985187 NaN NaN

33 NaN NaN 0.961469 0.980825 NaN NaN

34 NaN NaN 0.964967 0.985369 NaN NaN

35 NaN NaN 0.970306 0.98655 NaN NaN

36 NaN NaN 0.967489 0.978281 NaN NaN

37 NaN NaN 0.972146 0.987913 NaN NaN

38 NaN NaN 0.968284 0.985642 NaN NaN

39 NaN NaN 0.966898 0.987005 NaN NaN

epoch 17 takes 148 seconds.

[19, 30] loss: 0.481

[19, 60] loss: 0.433

[19, 90] loss: 0.522

[19, 120] loss: 0.478

[19, 150] loss: 0.531

[19, 180] loss: 0.498

[19, 210] loss: 0.550

[19, 240] loss: 0.549

[19, 270] loss: 0.574

[19, 300] loss: 0.477

[19, 330] loss: 0.404

[19, 360] loss: 0.465

[19, 390] loss: 0.494

[19, 420] loss: 0.400

[19, 450] loss: 0.519

[19, 480] loss: 0.578

[19, 510] loss: 0.517

[19, 540] loss: 0.544

[19, 570] loss: 0.452

[19, 600] loss: 0.476

[19, 630] loss: 0.403

[19, 660] loss: 0.574

[19, 690] loss: 0.440

[19, 720] loss: 0.465

[19, 750] loss: 0.480

[19, 780] loss: 0.543

[19, 810] loss: 0.471

[19, 840] loss: 0.501

[19, 870] loss: 0.482

[19, 900] loss: 0.521

[19, 930] loss: 0.445

[19, 960] loss: 0.538

[19, 990] loss: 0.556

[19, 1020] loss: 0.530

[19, 1050] loss: 0.426

[19, 1080] loss: 0.549

[19, 1110] loss: 0.501

[19, 1140] loss: 0.518

[19, 1170] loss: 0.447

[19, 1200] loss: 0.357

[19, 1230] loss: 0.510

[19, 1260] loss: 0.505

[19, 1290] loss: 0.527

[19, 1320] loss: 0.516

[19, 1350] loss: 0.456

[19, 1380] loss: 0.407

[19, 1410] loss: 0.458

[19, 1440] loss: 0.477

[19, 1470] loss: 0.420

[19, 1500] loss: 0.479

[19, 1530] loss: 0.543

[19, 1560] loss: 0.495

[19, 1590] loss: 0.496

[19, 1620] loss: 0.612

[19, 1650] loss: 0.524

[19, 1680] loss: 0.469

[19, 1710] loss: 0.463

[19, 1740] loss: 0.449

[19, 1770] loss: 0.400

[19, 1800] loss: 0.532

[19, 1830] loss: 0.463

[19, 1860] loss: 0.502

[19, 1890] loss: 0.507

[19, 1920] loss: 0.504

[19, 1950] loss: 0.452

[19, 1980] loss: 0.481

[19, 2010] loss: 0.593

[19, 2040] loss: 0.562

[19, 2070] loss: 0.546

[19, 2100] loss: 0.420

[19, 2130] loss: 0.545

[19, 2160] loss: 0.509

[19, 2190] loss: 0.497

ovft_intermediate_models/epoch18_shallow.pt saved.


evaluating on training set...

Accuracy on test images: 0.900695

epoch 18 accuracy on train set is: 0.9006952017448201

evaluating on training set takes 64 seconds.

shallow_train shallow_test scratch_train scratch_test deep_train deep_test

0 0.849396 0.875682 0.277854 0.251999 NaN NaN

1 0.868889 0.891948 0.473737 0.542803 NaN NaN

2 0.877249 0.90976 0.651877 0.724555 NaN NaN

3 0.883224 0.89522 0.742321 0.83197 NaN NaN

4 0.883679 0.908033 0.776081 0.848419 NaN NaN

5 0.894311 0.913304 0.830153 0.892857 NaN NaN

6 0.897492 0.917212 0.839399 0.894039 NaN NaN

7 0.88979 0.907306 0.869706 0.914304 NaN NaN

8 0.889427 0.907034 0.882656 0.925391 NaN NaN

9 0.890722 0.906307 0.903194 0.951018 NaN NaN

10 0.896924 0.902308 0.910305 0.941567 NaN NaN

11 0.884996 0.895856 0.919257 0.959833 NaN NaN

12 0.898628 0.925754 0.923687 0.96365 NaN NaN

13 0.901808 0.914667 0.934115 0.961923 NaN NaN

14 0.896356 0.921756 0.928253 0.96365 NaN NaN

15 0.903694 0.921392 0.936796 0.96574 NaN NaN

16 0.903967 0.917121 0.942794 0.970102 NaN NaN

17 0.899696 0.916303 0.944089 0.969829 NaN NaN

18 0.900695 NaN 0.94293 0.972465 NaN NaN

19 NaN NaN 0.949041 0.973646 NaN NaN

20 NaN NaN 0.949677 0.973101 NaN NaN

21 NaN NaN 0.935751 0.955107 NaN NaN

22 NaN NaN 0.952449 0.973646 NaN NaN

23 NaN NaN 0.953085 0.97619 NaN NaN

24 NaN NaN 0.958879 0.979916 NaN NaN

25 NaN NaN 0.959333 0.980189 NaN NaN

26 NaN NaN 0.960492 0.977463 NaN NaN

27 NaN NaN 0.966058 0.984824 NaN NaN

28 NaN NaN 0.957425 0.976372 NaN NaN

29 NaN NaN 0.959606 0.976009 NaN NaN

30 NaN NaN 0.964195 0.985642 NaN NaN

31 NaN NaN 0.964626 0.985551 NaN NaN

32 NaN NaN 0.96424 0.985187 NaN NaN

33 NaN NaN 0.961469 0.980825 NaN NaN

34 NaN NaN 0.964967 0.985369 NaN NaN

35 NaN NaN 0.970306 0.98655 NaN NaN

36 NaN NaN 0.967489 0.978281 NaN NaN

37 NaN NaN 0.972146 0.987913 NaN NaN

38 NaN NaN 0.968284 0.985642 NaN NaN

39 NaN NaN 0.966898 0.987005 NaN NaN

evaluating on test set...

Accuracy on test images: 0.923391

epoch 18 accuracy on test set is: 0.923391494002181

evaluating on test set takes 16 seconds.

shallow_train shallow_test scratch_train scratch_test deep_train deep_test

0 0.849396 0.875682 0.277854 0.251999 NaN NaN

1 0.868889 0.891948 0.473737 0.542803 NaN NaN

2 0.877249 0.90976 0.651877 0.724555 NaN NaN

3 0.883224 0.89522 0.742321 0.83197 NaN NaN

4 0.883679 0.908033 0.776081 0.848419 NaN NaN

5 0.894311 0.913304 0.830153 0.892857 NaN NaN

6 0.897492 0.917212 0.839399 0.894039 NaN NaN

7 0.88979 0.907306 0.869706 0.914304 NaN NaN

8 0.889427 0.907034 0.882656 0.925391 NaN NaN

9 0.890722 0.906307 0.903194 0.951018 NaN NaN

10 0.896924 0.902308 0.910305 0.941567 NaN NaN

11 0.884996 0.895856 0.919257 0.959833 NaN NaN

12 0.898628 0.925754 0.923687 0.96365 NaN NaN

13 0.901808 0.914667 0.934115 0.961923 NaN NaN

14 0.896356 0.921756 0.928253 0.96365 NaN NaN

15 0.903694 0.921392 0.936796 0.96574 NaN NaN

16 0.903967 0.917121 0.942794 0.970102 NaN NaN

17 0.899696 0.916303 0.944089 0.969829 NaN NaN

18 0.900695 0.923391 0.94293 0.972465 NaN NaN

19 NaN NaN 0.949041 0.973646 NaN NaN

20 NaN NaN 0.949677 0.973101 NaN NaN

21 NaN NaN 0.935751 0.955107 NaN NaN

22 NaN NaN 0.952449 0.973646 NaN NaN

23 NaN NaN 0.953085 0.97619 NaN NaN

24 NaN NaN 0.958879 0.979916 NaN NaN

25 NaN NaN 0.959333 0.980189 NaN NaN

26 NaN NaN 0.960492 0.977463 NaN NaN

27 NaN NaN 0.966058 0.984824 NaN NaN

28 NaN NaN 0.957425 0.976372 NaN NaN

29 NaN NaN 0.959606 0.976009 NaN NaN

30 NaN NaN 0.964195 0.985642 NaN NaN

31 NaN NaN 0.964626 0.985551 NaN NaN

32 NaN NaN 0.96424 0.985187 NaN NaN

33 NaN NaN 0.961469 0.980825 NaN NaN

34 NaN NaN 0.964967 0.985369 NaN NaN

35 NaN NaN 0.970306 0.98655 NaN NaN

36 NaN NaN 0.967489 0.978281 NaN NaN

37 NaN NaN 0.972146 0.987913 NaN NaN

38 NaN NaN 0.968284 0.985642 NaN NaN

39 NaN NaN 0.966898 0.987005 NaN NaN

epoch 18 takes 148 seconds.

[20, 30] loss: 0.499

[20, 60] loss: 0.581

[20, 90] loss: 0.446

[20, 120] loss: 0.405

[20, 150] loss: 0.394

[20, 180] loss: 0.449

[20, 210] loss: 0.529

[20, 240] loss: 0.516

[20, 270] loss: 0.438

[20, 300] loss: 0.434

[20, 330] loss: 0.484

[20, 360] loss: 0.554

[20, 390] loss: 0.518

[20, 420] loss: 0.507

[20, 450] loss: 0.478

[20, 480] loss: 0.426

[20, 510] loss: 0.443

[20, 540] loss: 0.510

[20, 570] loss: 0.466

[20, 600] loss: 0.469

[20, 630] loss: 0.368

[20, 660] loss: 0.451

[20, 690] loss: 0.515

[20, 720] loss: 0.520

[20, 750] loss: 0.458

[20, 780] loss: 0.512

[20, 810] loss: 0.542

[20, 840] loss: 0.524

[20, 870] loss: 0.513

[20, 900] loss: 0.570

[20, 930] loss: 0.584

[20, 960] loss: 0.498

[20, 990] loss: 0.528

[20, 1020] loss: 0.505

[20, 1050] loss: 0.516

[20, 1080] loss: 0.485

[20, 1110] loss: 0.493

[20, 1140] loss: 0.473

[20, 1170] loss: 0.486

[20, 1200] loss: 0.528

[20, 1230] loss: 0.558

[20, 1260] loss: 0.437

[20, 1290] loss: 0.573

[20, 1320] loss: 0.491

[20, 1350] loss: 0.449

[20, 1380] loss: 0.568

[20, 1410] loss: 0.583

[20, 1440] loss: 0.466

[20, 1470] loss: 0.533

[20, 1500] loss: 0.486

[20, 1530] loss: 0.464

[20, 1560] loss: 0.492

[20, 1590] loss: 0.508

[20, 1620] loss: 0.450

[20, 1650] loss: 0.506

[20, 1680] loss: 0.516

[20, 1710] loss: 0.483

[20, 1740] loss: 0.513

[20, 1770] loss: 0.640

[20, 1800] loss: 0.586

[20, 1830] loss: 0.478

[20, 1860] loss: 0.572

[20, 1890] loss: 0.475

[20, 1920] loss: 0.481

[20, 1950] loss: 0.484

[20, 1980] loss: 0.548

[20, 2010] loss: 0.470

[20, 2040] loss: 0.555

[20, 2070] loss: 0.505

[20, 2100] loss: 0.446

[20, 2130] loss: 0.524

[20, 2160] loss: 0.517

[20, 2190] loss: 0.462

ovft_intermediate_models/epoch19_shallow.pt saved.


evaluating on training set...

Accuracy on test images: 0.903512

epoch 19 accuracy on train set is: 0.9035123591421301

evaluating on training set takes 64 seconds.

shallow_train shallow_test scratch_train scratch_test deep_train deep_test

0 0.849396 0.875682 0.277854 0.251999 NaN NaN

1 0.868889 0.891948 0.473737 0.542803 NaN NaN

2 0.877249 0.90976 0.651877 0.724555 NaN NaN

3 0.883224 0.89522 0.742321 0.83197 NaN NaN

4 0.883679 0.908033 0.776081 0.848419 NaN NaN

5 0.894311 0.913304 0.830153 0.892857 NaN NaN

6 0.897492 0.917212 0.839399 0.894039 NaN NaN

7 0.88979 0.907306 0.869706 0.914304 NaN NaN

8 0.889427 0.907034 0.882656 0.925391 NaN NaN

9 0.890722 0.906307 0.903194 0.951018 NaN NaN

10 0.896924 0.902308 0.910305 0.941567 NaN NaN

11 0.884996 0.895856 0.919257 0.959833 NaN NaN

12 0.898628 0.925754 0.923687 0.96365 NaN NaN

13 0.901808 0.914667 0.934115 0.961923 NaN NaN

14 0.896356 0.921756 0.928253 0.96365 NaN NaN

15 0.903694 0.921392 0.936796 0.96574 NaN NaN

16 0.903967 0.917121 0.942794 0.970102 NaN NaN

17 0.899696 0.916303 0.944089 0.969829 NaN NaN

18 0.900695 0.923391 0.94293 0.972465 NaN NaN

19 0.903512 NaN 0.949041 0.973646 NaN NaN

20 NaN NaN 0.949677 0.973101 NaN NaN

21 NaN NaN 0.935751 0.955107 NaN NaN

22 NaN NaN 0.952449 0.973646 NaN NaN

23 NaN NaN 0.953085 0.97619 NaN NaN

24 NaN NaN 0.958879 0.979916 NaN NaN

25 NaN NaN 0.959333 0.980189 NaN NaN

26 NaN NaN 0.960492 0.977463 NaN NaN

27 NaN NaN 0.966058 0.984824 NaN NaN

28 NaN NaN 0.957425 0.976372 NaN NaN

29 NaN NaN 0.959606 0.976009 NaN NaN

30 NaN NaN 0.964195 0.985642 NaN NaN

31 NaN NaN 0.964626 0.985551 NaN NaN

32 NaN NaN 0.96424 0.985187 NaN NaN

33 NaN NaN 0.961469 0.980825 NaN NaN

34 NaN NaN 0.964967 0.985369 NaN NaN

35 NaN NaN 0.970306 0.98655 NaN NaN

36 NaN NaN 0.967489 0.978281 NaN NaN

37 NaN NaN 0.972146 0.987913 NaN NaN

38 NaN NaN 0.968284 0.985642 NaN NaN

39 NaN NaN 0.966898 0.987005 NaN NaN

evaluating on test set...

Accuracy on test images: 0.913577

epoch 19 accuracy on test set is: 0.913576881134133

evaluating on test set takes 16 seconds.

shallow_train shallow_test scratch_train scratch_test deep_train deep_test

0 0.849396 0.875682 0.277854 0.251999 NaN NaN

1 0.868889 0.891948 0.473737 0.542803 NaN NaN

2 0.877249 0.90976 0.651877 0.724555 NaN NaN

3 0.883224 0.89522 0.742321 0.83197 NaN NaN

4 0.883679 0.908033 0.776081 0.848419 NaN NaN

5 0.894311 0.913304 0.830153 0.892857 NaN NaN

6 0.897492 0.917212 0.839399 0.894039 NaN NaN

7 0.88979 0.907306 0.869706 0.914304 NaN NaN

8 0.889427 0.907034 0.882656 0.925391 NaN NaN

9 0.890722 0.906307 0.903194 0.951018 NaN NaN

10 0.896924 0.902308 0.910305 0.941567 NaN NaN

11 0.884996 0.895856 0.919257 0.959833 NaN NaN

12 0.898628 0.925754 0.923687 0.96365 NaN NaN

13 0.901808 0.914667 0.934115 0.961923 NaN NaN

14 0.896356 0.921756 0.928253 0.96365 NaN NaN

15 0.903694 0.921392 0.936796 0.96574 NaN NaN

16 0.903967 0.917121 0.942794 0.970102 NaN NaN

17 0.899696 0.916303 0.944089 0.969829 NaN NaN

18 0.900695 0.923391 0.94293 0.972465 NaN NaN

19 0.903512 0.913577 0.949041 0.973646 NaN NaN

20 NaN NaN 0.949677 0.973101 NaN NaN

21 NaN NaN 0.935751 0.955107 NaN NaN

22 NaN NaN 0.952449 0.973646 NaN NaN

23 NaN NaN 0.953085 0.97619 NaN NaN

24 NaN NaN 0.958879 0.979916 NaN NaN

25 NaN NaN 0.959333 0.980189 NaN NaN

26 NaN NaN 0.960492 0.977463 NaN NaN

27 NaN NaN 0.966058 0.984824 NaN NaN

28 NaN NaN 0.957425 0.976372 NaN NaN

29 NaN NaN 0.959606 0.976009 NaN NaN

30 NaN NaN 0.964195 0.985642 NaN NaN

31 NaN NaN 0.964626 0.985551 NaN NaN

32 NaN NaN 0.96424 0.985187 NaN NaN

33 NaN NaN 0.961469 0.980825 NaN NaN

34 NaN NaN 0.964967 0.985369 NaN NaN

35 NaN NaN 0.970306 0.98655 NaN NaN

36 NaN NaN 0.967489 0.978281 NaN NaN

37 NaN NaN 0.972146 0.987913 NaN NaN

38 NaN NaN 0.968284 0.985642 NaN NaN

39 NaN NaN 0.966898 0.987005 NaN NaN

epoch 19 takes 148 seconds.

[21, 30] loss: 0.488

[21, 60] loss: 0.564

[21, 90] loss: 0.471

[21, 120] loss: 0.546

[21, 150] loss: 0.436

[21, 180] loss: 0.452

[21, 210] loss: 0.391

[21, 240] loss: 0.451

[21, 270] loss: 0.491

[21, 300] loss: 0.470

[21, 330] loss: 0.470

[21, 360] loss: 0.561

[21, 390] loss: 0.591

[21, 420] loss: 0.509

[21, 450] loss: 0.423

[21, 480] loss: 0.455

[21, 510] loss: 0.509

[21, 540] loss: 0.510

[21, 570] loss: 0.467

[21, 600] loss: 0.507

[21, 630] loss: 0.358

[21, 660] loss: 0.596

[21, 690] loss: 0.544

[21, 720] loss: 0.459

[21, 750] loss: 0.569

[21, 780] loss: 0.531

[21, 810] loss: 0.459

[21, 840] loss: 0.468

[21, 870] loss: 0.453

[21, 900] loss: 0.506

[21, 930] loss: 0.440

[21, 960] loss: 0.463

[21, 990] loss: 0.502

[21, 1020] loss: 0.401

[21, 1050] loss: 0.453

[21, 1080] loss: 0.538

[21, 1110] loss: 0.396

[21, 1140] loss: 0.457

[21, 1170] loss: 0.560

[21, 1200] loss: 0.445

[21, 1230] loss: 0.507

[21, 1260] loss: 0.434

[21, 1290] loss: 0.453

[21, 1320] loss: 0.566

[21, 1350] loss: 0.381

[21, 1380] loss: 0.511

[21, 1410] loss: 0.489

[21, 1440] loss: 0.440

[21, 1470] loss: 0.608

[21, 1500] loss: 0.503

[21, 1530] loss: 0.522

[21, 1560] loss: 0.409

[21, 1590] loss: 0.602

[21, 1620] loss: 0.478

[21, 1650] loss: 0.492

[21, 1680] loss: 0.472

[21, 1710] loss: 0.515

[21, 1740] loss: 0.429

[21, 1770] loss: 0.551

[21, 1800] loss: 0.390

[21, 1830] loss: 0.540

[21, 1860] loss: 0.466

[21, 1890] loss: 0.508

[21, 1920] loss: 0.551

[21, 1950] loss: 0.576

[21, 1980] loss: 0.449

[21, 2010] loss: 0.591

[21, 2040] loss: 0.481

[21, 2070] loss: 0.469

[21, 2100] loss: 0.480

[21, 2130] loss: 0.403

[21, 2160] loss: 0.447

[21, 2190] loss: 0.527

ovft_intermediate_models/epoch20_shallow.pt saved.


evaluating on training set...

Accuracy on test images: 0.900127

epoch 20 accuracy on train set is: 0.9001272264631043

evaluating on training set takes 64 seconds.

shallow_train shallow_test scratch_train scratch_test deep_train deep_test

0 0.849396 0.875682 0.277854 0.251999 NaN NaN

1 0.868889 0.891948 0.473737 0.542803 NaN NaN

2 0.877249 0.90976 0.651877 0.724555 NaN NaN

3 0.883224 0.89522 0.742321 0.83197 NaN NaN

4 0.883679 0.908033 0.776081 0.848419 NaN NaN

5 0.894311 0.913304 0.830153 0.892857 NaN NaN

6 0.897492 0.917212 0.839399 0.894039 NaN NaN

7 0.88979 0.907306 0.869706 0.914304 NaN NaN

8 0.889427 0.907034 0.882656 0.925391 NaN NaN

9 0.890722 0.906307 0.903194 0.951018 NaN NaN

10 0.896924 0.902308 0.910305 0.941567 NaN NaN

11 0.884996 0.895856 0.919257 0.959833 NaN NaN

12 0.898628 0.925754 0.923687 0.96365 NaN NaN

13 0.901808 0.914667 0.934115 0.961923 NaN NaN

14 0.896356 0.921756 0.928253 0.96365 NaN NaN

15 0.903694 0.921392 0.936796 0.96574 NaN NaN

16 0.903967 0.917121 0.942794 0.970102 NaN NaN

17 0.899696 0.916303 0.944089 0.969829 NaN NaN

18 0.900695 0.923391 0.94293 0.972465 NaN NaN

19 0.903512 0.913577 0.949041 0.973646 NaN NaN

20 0.900127 NaN 0.949677 0.973101 NaN NaN

21 NaN NaN 0.935751 0.955107 NaN NaN

22 NaN NaN 0.952449 0.973646 NaN NaN

23 NaN NaN 0.953085 0.97619 NaN NaN

24 NaN NaN 0.958879 0.979916 NaN NaN

25 NaN NaN 0.959333 0.980189 NaN NaN

26 NaN NaN 0.960492 0.977463 NaN NaN

27 NaN NaN 0.966058 0.984824 NaN NaN

28 NaN NaN 0.957425 0.976372 NaN NaN

29 NaN NaN 0.959606 0.976009 NaN NaN

30 NaN NaN 0.964195 0.985642 NaN NaN

31 NaN NaN 0.964626 0.985551 NaN NaN

32 NaN NaN 0.96424 0.985187 NaN NaN

33 NaN NaN 0.961469 0.980825 NaN NaN

34 NaN NaN 0.964967 0.985369 NaN NaN

35 NaN NaN 0.970306 0.98655 NaN NaN

36 NaN NaN 0.967489 0.978281 NaN NaN

37 NaN NaN 0.972146 0.987913 NaN NaN

38 NaN NaN 0.968284 0.985642 NaN NaN

39 NaN NaN 0.966898 0.987005 NaN NaN

evaluating on test set...

Accuracy on test images: 0.922483

epoch 20 accuracy on test set is: 0.9224827335514358

evaluating on test set takes 16 seconds.

shallow_train shallow_test scratch_train scratch_test deep_train deep_test

0 0.849396 0.875682 0.277854 0.251999 NaN NaN

1 0.868889 0.891948 0.473737 0.542803 NaN NaN

2 0.877249 0.90976 0.651877 0.724555 NaN NaN

3 0.883224 0.89522 0.742321 0.83197 NaN NaN

4 0.883679 0.908033 0.776081 0.848419 NaN NaN

5 0.894311 0.913304 0.830153 0.892857 NaN NaN

6 0.897492 0.917212 0.839399 0.894039 NaN NaN

7 0.88979 0.907306 0.869706 0.914304 NaN NaN

8 0.889427 0.907034 0.882656 0.925391 NaN NaN

9 0.890722 0.906307 0.903194 0.951018 NaN NaN

10 0.896924 0.902308 0.910305 0.941567 NaN NaN

11 0.884996 0.895856 0.919257 0.959833 NaN NaN

12 0.898628 0.925754 0.923687 0.96365 NaN NaN

13 0.901808 0.914667 0.934115 0.961923 NaN NaN

14 0.896356 0.921756 0.928253 0.96365 NaN NaN

15 0.903694 0.921392 0.936796 0.96574 NaN NaN

16 0.903967 0.917121 0.942794 0.970102 NaN NaN

17 0.899696 0.916303 0.944089 0.969829 NaN NaN

18 0.900695 0.923391 0.94293 0.972465 NaN NaN

19 0.903512 0.913577 0.949041 0.973646 NaN NaN

20 0.900127 0.922483 0.949677 0.973101 NaN NaN

21 NaN NaN 0.935751 0.955107 NaN NaN

22 NaN NaN 0.952449 0.973646 NaN NaN

23 NaN NaN 0.953085 0.97619 NaN NaN

24 NaN NaN 0.958879 0.979916 NaN NaN

25 NaN NaN 0.959333 0.980189 NaN NaN

26 NaN NaN 0.960492 0.977463 NaN NaN

27 NaN NaN 0.966058 0.984824 NaN NaN

28 NaN NaN 0.957425 0.976372 NaN NaN

29 NaN NaN 0.959606 0.976009 NaN NaN

30 NaN NaN 0.964195 0.985642 NaN NaN

31 NaN NaN 0.964626 0.985551 NaN NaN

32 NaN NaN 0.96424 0.985187 NaN NaN

33 NaN NaN 0.961469 0.980825 NaN NaN

34 NaN NaN 0.964967 0.985369 NaN NaN

35 NaN NaN 0.970306 0.98655 NaN NaN

36 NaN NaN 0.967489 0.978281 NaN NaN

37 NaN NaN 0.972146 0.987913 NaN NaN

38 NaN NaN 0.968284 0.985642 NaN NaN

39 NaN NaN 0.966898 0.987005 NaN NaN

epoch 20 takes 149 seconds.

[22, 30] loss: 0.501

[22, 60] loss: 0.523

[22, 90] loss: 0.483

[22, 120] loss: 0.453

[22, 150] loss: 0.487

[22, 180] loss: 0.517

[22, 210] loss: 0.499

[22, 240] loss: 0.468

[22, 270] loss: 0.508

[22, 300] loss: 0.508

[22, 330] loss: 0.428

[22, 360] loss: 0.616

[22, 390] loss: 0.594

[22, 420] loss: 0.440

[22, 450] loss: 0.487

[22, 480] loss: 0.559

[22, 510] loss: 0.442

[22, 540] loss: 0.581

[22, 570] loss: 0.397

[22, 600] loss: 0.483

[22, 630] loss: 0.459

[22, 660] loss: 0.512

[22, 690] loss: 0.548

[22, 720] loss: 0.469

[22, 750] loss: 0.483

[22, 780] loss: 0.421

[22, 810] loss: 0.462

[22, 840] loss: 0.562

[22, 870] loss: 0.544

[22, 900] loss: 0.480

[22, 930] loss: 0.433

[22, 960] loss: 0.430

[22, 990] loss: 0.507

[22, 1020] loss: 0.542

[22, 1050] loss: 0.539

[22, 1080] loss: 0.396

[22, 1110] loss: 0.591

[22, 1140] loss: 0.485

[22, 1170] loss: 0.447

[22, 1200] loss: 0.453

[22, 1230] loss: 0.599

[22, 1260] loss: 0.465

[22, 1290] loss: 0.478

[22, 1320] loss: 0.480

[22, 1350] loss: 0.567

[22, 1380] loss: 0.580

[22, 1410] loss: 0.476

[22, 1440] loss: 0.500

[22, 1470] loss: 0.464

[22, 1500] loss: 0.590

[22, 1530] loss: 0.502

[22, 1560] loss: 0.534

[22, 1590] loss: 0.422

[22, 1620] loss: 0.499

[22, 1650] loss: 0.548

[22, 1680] loss: 0.499

[22, 1710] loss: 0.444

[22, 1740] loss: 0.489

[22, 1770] loss: 0.506

[22, 1800] loss: 0.453

[22, 1830] loss: 0.477

[22, 1860] loss: 0.469

[22, 1890] loss: 0.492

[22, 1920] loss: 0.489

[22, 1950] loss: 0.596

[22, 1980] loss: 0.476

[22, 2010] loss: 0.568

[22, 2040] loss: 0.529

[22, 2070] loss: 0.394

[22, 2100] loss: 0.480

[22, 2130] loss: 0.453

[22, 2160] loss: 0.433

[22, 2190] loss: 0.559

ovft_intermediate_models/epoch21_shallow.pt saved.


evaluating on training set...

Accuracy on test images: 0.895265

epoch 21 accuracy on train set is: 0.8952653580516176

evaluating on training set takes 64 seconds.

shallow_train shallow_test scratch_train scratch_test deep_train deep_test

0 0.849396 0.875682 0.277854 0.251999 NaN NaN

1 0.868889 0.891948 0.473737 0.542803 NaN NaN

2 0.877249 0.90976 0.651877 0.724555 NaN NaN

3 0.883224 0.89522 0.742321 0.83197 NaN NaN

4 0.883679 0.908033 0.776081 0.848419 NaN NaN

5 0.894311 0.913304 0.830153 0.892857 NaN NaN

6 0.897492 0.917212 0.839399 0.894039 NaN NaN

7 0.88979 0.907306 0.869706 0.914304 NaN NaN

8 0.889427 0.907034 0.882656 0.925391 NaN NaN

9 0.890722 0.906307 0.903194 0.951018 NaN NaN

10 0.896924 0.902308 0.910305 0.941567 NaN NaN

11 0.884996 0.895856 0.919257 0.959833 NaN NaN

12 0.898628 0.925754 0.923687 0.96365 NaN NaN

13 0.901808 0.914667 0.934115 0.961923 NaN NaN

14 0.896356 0.921756 0.928253 0.96365 NaN NaN

15 0.903694 0.921392 0.936796 0.96574 NaN NaN

16 0.903967 0.917121 0.942794 0.970102 NaN NaN

17 0.899696 0.916303 0.944089 0.969829 NaN NaN

18 0.900695 0.923391 0.94293 0.972465 NaN NaN

19 0.903512 0.913577 0.949041 0.973646 NaN NaN

20 0.900127 0.922483 0.949677 0.973101 NaN NaN

21 0.895265 NaN 0.935751 0.955107 NaN NaN

22 NaN NaN 0.952449 0.973646 NaN NaN

23 NaN NaN 0.953085 0.97619 NaN NaN

24 NaN NaN 0.958879 0.979916 NaN NaN

25 NaN NaN 0.959333 0.980189 NaN NaN

26 NaN NaN 0.960492 0.977463 NaN NaN

27 NaN NaN 0.966058 0.984824 NaN NaN

28 NaN NaN 0.957425 0.976372 NaN NaN

29 NaN NaN 0.959606 0.976009 NaN NaN

30 NaN NaN 0.964195 0.985642 NaN NaN

31 NaN NaN 0.964626 0.985551 NaN NaN

32 NaN NaN 0.96424 0.985187 NaN NaN

33 NaN NaN 0.961469 0.980825 NaN NaN

34 NaN NaN 0.964967 0.985369 NaN NaN

35 NaN NaN 0.970306 0.98655 NaN NaN

36 NaN NaN 0.967489 0.978281 NaN NaN

37 NaN NaN 0.972146 0.987913 NaN NaN

38 NaN NaN 0.968284 0.985642 NaN NaN

39 NaN NaN 0.966898 0.987005 NaN NaN

evaluating on test set...

Accuracy on test images: 0.915485

epoch 21 accuracy on test set is: 0.9154852780806979

evaluating on test set takes 16 seconds.

shallow_train shallow_test scratch_train scratch_test deep_train deep_test

0 0.849396 0.875682 0.277854 0.251999 NaN NaN

1 0.868889 0.891948 0.473737 0.542803 NaN NaN

2 0.877249 0.90976 0.651877 0.724555 NaN NaN

3 0.883224 0.89522 0.742321 0.83197 NaN NaN

4 0.883679 0.908033 0.776081 0.848419 NaN NaN

5 0.894311 0.913304 0.830153 0.892857 NaN NaN

6 0.897492 0.917212 0.839399 0.894039 NaN NaN

7 0.88979 0.907306 0.869706 0.914304 NaN NaN

8 0.889427 0.907034 0.882656 0.925391 NaN NaN

9 0.890722 0.906307 0.903194 0.951018 NaN NaN

10 0.896924 0.902308 0.910305 0.941567 NaN NaN

11 0.884996 0.895856 0.919257 0.959833 NaN NaN

12 0.898628 0.925754 0.923687 0.96365 NaN NaN

13 0.901808 0.914667 0.934115 0.961923 NaN NaN

14 0.896356 0.921756 0.928253 0.96365 NaN NaN

15 0.903694 0.921392 0.936796 0.96574 NaN NaN

16 0.903967 0.917121 0.942794 0.970102 NaN NaN

17 0.899696 0.916303 0.944089 0.969829 NaN NaN

18 0.900695 0.923391 0.94293 0.972465 NaN NaN

19 0.903512 0.913577 0.949041 0.973646 NaN NaN

20 0.900127 0.922483 0.949677 0.973101 NaN NaN

21 0.895265 0.915485 0.935751 0.955107 NaN NaN

22 NaN NaN 0.952449 0.973646 NaN NaN

23 NaN NaN 0.953085 0.97619 NaN NaN

24 NaN NaN 0.958879 0.979916 NaN NaN

25 NaN NaN 0.959333 0.980189 NaN NaN

26 NaN NaN 0.960492 0.977463 NaN NaN

27 NaN NaN 0.966058 0.984824 NaN NaN

28 NaN NaN 0.957425 0.976372 NaN NaN

29 NaN NaN 0.959606 0.976009 NaN NaN

30 NaN NaN 0.964195 0.985642 NaN NaN

31 NaN NaN 0.964626 0.985551 NaN NaN

32 NaN NaN 0.96424 0.985187 NaN NaN

33 NaN NaN 0.961469 0.980825 NaN NaN

34 NaN NaN 0.964967 0.985369 NaN NaN

35 NaN NaN 0.970306 0.98655 NaN NaN

36 NaN NaN 0.967489 0.978281 NaN NaN

37 NaN NaN 0.972146 0.987913 NaN NaN

38 NaN NaN 0.968284 0.985642 NaN NaN

39 NaN NaN 0.966898 0.987005 NaN NaN

epoch 21 takes 149 seconds.

[23, 30] loss: 0.524

[23, 60] loss: 0.529

[23, 90] loss: 0.505

[23, 120] loss: 0.454

[23, 150] loss: 0.488

[23, 180] loss: 0.490

[23, 210] loss: 0.513

[23, 240] loss: 0.481

[23, 270] loss: 0.514

[23, 300] loss: 0.566

[23, 330] loss: 0.449

[23, 360] loss: 0.492

[23, 390] loss: 0.405

[23, 420] loss: 0.478

[23, 450] loss: 0.479

[23, 480] loss: 0.512

[23, 510] loss: 0.583

[23, 540] loss: 0.453

[23, 570] loss: 0.481

[23, 600] loss: 0.495

[23, 630] loss: 0.446

[23, 660] loss: 0.551

[23, 690] loss: 0.491

[23, 720] loss: 0.576

[23, 750] loss: 0.468

[23, 780] loss: 0.596

[23, 810] loss: 0.572

[23, 840] loss: 0.532

[23, 870] loss: 0.516

[23, 900] loss: 0.489

[23, 930] loss: 0.508

[23, 960] loss: 0.481

[23, 990] loss: 0.520

[23, 1020] loss: 0.478

[23, 1050] loss: 0.512

[23, 1080] loss: 0.492

[23, 1110] loss: 0.495

[23, 1140] loss: 0.403

[23, 1170] loss: 0.511

[23, 1200] loss: 0.540

[23, 1230] loss: 0.548

[23, 1260] loss: 0.507

[23, 1290] loss: 0.494

[23, 1320] loss: 0.459

[23, 1350] loss: 0.418

[23, 1380] loss: 0.487

[23, 1410] loss: 0.566

[23, 1440] loss: 0.473

[23, 1470] loss: 0.554

[23, 1500] loss: 0.589

[23, 1530] loss: 0.425

[23, 1560] loss: 0.616

[23, 1590] loss: 0.481

[23, 1620] loss: 0.552

[23, 1650] loss: 0.503

[23, 1680] loss: 0.499

[23, 1710] loss: 0.459

[23, 1740] loss: 0.531

[23, 1770] loss: 0.475

[23, 1800] loss: 0.478

[23, 1830] loss: 0.449

[23, 1860] loss: 0.419

[23, 1890] loss: 0.519

[23, 1920] loss: 0.490

[23, 1950] loss: 0.458

[23, 1980] loss: 0.444

[23, 2010] loss: 0.461

[23, 2040] loss: 0.517

[23, 2070] loss: 0.541

[23, 2100] loss: 0.533

[23, 2130] loss: 0.394

[23, 2160] loss: 0.466

[23, 2190] loss: 0.482

ovft_intermediate_models/epoch22_shallow.pt saved.


evaluating on training set...

Accuracy on test images: 0.902740

epoch 22 accuracy on train set is: 0.9027399127589967

evaluating on training set takes 64 seconds.

shallow_train shallow_test scratch_train scratch_test deep_train deep_test

0 0.849396 0.875682 0.277854 0.251999 NaN NaN

1 0.868889 0.891948 0.473737 0.542803 NaN NaN

2 0.877249 0.90976 0.651877 0.724555 NaN NaN

3 0.883224 0.89522 0.742321 0.83197 NaN NaN

4 0.883679 0.908033 0.776081 0.848419 NaN NaN

5 0.894311 0.913304 0.830153 0.892857 NaN NaN

6 0.897492 0.917212 0.839399 0.894039 NaN NaN

7 0.88979 0.907306 0.869706 0.914304 NaN NaN

8 0.889427 0.907034 0.882656 0.925391 NaN NaN

9 0.890722 0.906307 0.903194 0.951018 NaN NaN

10 0.896924 0.902308 0.910305 0.941567 NaN NaN

11 0.884996 0.895856 0.919257 0.959833 NaN NaN

12 0.898628 0.925754 0.923687 0.96365 NaN NaN

13 0.901808 0.914667 0.934115 0.961923 NaN NaN

14 0.896356 0.921756 0.928253 0.96365 NaN NaN

15 0.903694 0.921392 0.936796 0.96574 NaN NaN

16 0.903967 0.917121 0.942794 0.970102 NaN NaN

17 0.899696 0.916303 0.944089 0.969829 NaN NaN

18 0.900695 0.923391 0.94293 0.972465 NaN NaN

19 0.903512 0.913577 0.949041 0.973646 NaN NaN

20 0.900127 0.922483 0.949677 0.973101 NaN NaN

21 0.895265 0.915485 0.935751 0.955107 NaN NaN

22 0.90274 NaN 0.952449 0.973646 NaN NaN

23 NaN NaN 0.953085 0.97619 NaN NaN

24 NaN NaN 0.958879 0.979916 NaN NaN

25 NaN NaN 0.959333 0.980189 NaN NaN

26 NaN NaN 0.960492 0.977463 NaN NaN

27 NaN NaN 0.966058 0.984824 NaN NaN

28 NaN NaN 0.957425 0.976372 NaN NaN

29 NaN NaN 0.959606 0.976009 NaN NaN

30 NaN NaN 0.964195 0.985642 NaN NaN

31 NaN NaN 0.964626 0.985551 NaN NaN

32 NaN NaN 0.96424 0.985187 NaN NaN

33 NaN NaN 0.961469 0.980825 NaN NaN

34 NaN NaN 0.964967 0.985369 NaN NaN

35 NaN NaN 0.970306 0.98655 NaN NaN

36 NaN NaN 0.967489 0.978281 NaN NaN

37 NaN NaN 0.972146 0.987913 NaN NaN

38 NaN NaN 0.968284 0.985642 NaN NaN

39 NaN NaN 0.966898 0.987005 NaN NaN

evaluating on test set...

Accuracy on test images: 0.920120

epoch 22 accuracy on test set is: 0.9201199563794984

evaluating on test set takes 16 seconds.

shallow_train shallow_test scratch_train scratch_test deep_train deep_test

0 0.849396 0.875682 0.277854 0.251999 NaN NaN

1 0.868889 0.891948 0.473737 0.542803 NaN NaN

2 0.877249 0.90976 0.651877 0.724555 NaN NaN

3 0.883224 0.89522 0.742321 0.83197 NaN NaN

4 0.883679 0.908033 0.776081 0.848419 NaN NaN

5 0.894311 0.913304 0.830153 0.892857 NaN NaN

6 0.897492 0.917212 0.839399 0.894039 NaN NaN

7 0.88979 0.907306 0.869706 0.914304 NaN NaN

8 0.889427 0.907034 0.882656 0.925391 NaN NaN

9 0.890722 0.906307 0.903194 0.951018 NaN NaN

10 0.896924 0.902308 0.910305 0.941567 NaN NaN

11 0.884996 0.895856 0.919257 0.959833 NaN NaN

12 0.898628 0.925754 0.923687 0.96365 NaN NaN

13 0.901808 0.914667 0.934115 0.961923 NaN NaN

14 0.896356 0.921756 0.928253 0.96365 NaN NaN

15 0.903694 0.921392 0.936796 0.96574 NaN NaN

16 0.903967 0.917121 0.942794 0.970102 NaN NaN

17 0.899696 0.916303 0.944089 0.969829 NaN NaN

18 0.900695 0.923391 0.94293 0.972465 NaN NaN

19 0.903512 0.913577 0.949041 0.973646 NaN NaN

20 0.900127 0.922483 0.949677 0.973101 NaN NaN

21 0.895265 0.915485 0.935751 0.955107 NaN NaN

22 0.90274 0.92012 0.952449 0.973646 NaN NaN

23 NaN NaN 0.953085 0.97619 NaN NaN

24 NaN NaN 0.958879 0.979916 NaN NaN

25 NaN NaN 0.959333 0.980189 NaN NaN

26 NaN NaN 0.960492 0.977463 NaN NaN

27 NaN NaN 0.966058 0.984824 NaN NaN

28 NaN NaN 0.957425 0.976372 NaN NaN

29 NaN NaN 0.959606 0.976009 NaN NaN

30 NaN NaN 0.964195 0.985642 NaN NaN

31 NaN NaN 0.964626 0.985551 NaN NaN

32 NaN NaN 0.96424 0.985187 NaN NaN

33 NaN NaN 0.961469 0.980825 NaN NaN

34 NaN NaN 0.964967 0.985369 NaN NaN

35 NaN NaN 0.970306 0.98655 NaN NaN

36 NaN NaN 0.967489 0.978281 NaN NaN

37 NaN NaN 0.972146 0.987913 NaN NaN

38 NaN NaN 0.968284 0.985642 NaN NaN

39 NaN NaN 0.966898 0.987005 NaN NaN

epoch 22 takes 148 seconds.

[24, 30] loss: 0.531

[24, 60] loss: 0.426

[24, 90] loss: 0.567

[24, 120] loss: 0.453

[24, 150] loss: 0.482

[24, 180] loss: 0.500

[24, 210] loss: 0.453

[24, 240] loss: 0.517

[24, 270] loss: 0.514

[24, 300] loss: 0.476

[24, 330] loss: 0.602

[24, 360] loss: 0.540

[24, 390] loss: 0.499

[24, 420] loss: 0.449

[24, 450] loss: 0.451

[24, 480] loss: 0.484

[24, 510] loss: 0.463

[24, 540] loss: 0.534

[24, 570] loss: 0.470

[24, 600] loss: 0.422

[24, 630] loss: 0.409

[24, 660] loss: 0.432

[24, 690] loss: 0.469

[24, 720] loss: 0.471

[24, 750] loss: 0.482

[24, 780] loss: 0.537

[24, 810] loss: 0.441

[24, 840] loss: 0.508

[24, 870] loss: 0.493

[24, 900] loss: 0.490

[24, 930] loss: 0.425

[24, 960] loss: 0.447

[24, 990] loss: 0.583

[24, 1020] loss: 0.503

[24, 1050] loss: 0.573

[24, 1080] loss: 0.470

[24, 1110] loss: 0.484

[24, 1140] loss: 0.453

[24, 1170] loss: 0.447

[24, 1200] loss: 0.498

[24, 1230] loss: 0.429

[24, 1260] loss: 0.569

[24, 1290] loss: 0.453

[24, 1320] loss: 0.482

[24, 1350] loss: 0.393

[24, 1380] loss: 0.578

[24, 1410] loss: 0.491

[24, 1440] loss: 0.461

[24, 1470] loss: 0.593

[24, 1500] loss: 0.417

[24, 1530] loss: 0.428

[24, 1560] loss: 0.519

[24, 1590] loss: 0.444

[24, 1620] loss: 0.441

[24, 1650] loss: 0.538

[24, 1680] loss: 0.509

[24, 1710] loss: 0.557

[24, 1740] loss: 0.510

[24, 1770] loss: 0.524

[24, 1800] loss: 0.479

[24, 1830] loss: 0.433

[24, 1860] loss: 0.440

[24, 1890] loss: 0.572

[24, 1920] loss: 0.583

[24, 1950] loss: 0.487

[24, 1980] loss: 0.518

[24, 2010] loss: 0.543

[24, 2040] loss: 0.448

[24, 2070] loss: 0.517

[24, 2100] loss: 0.497

[24, 2130] loss: 0.428

[24, 2160] loss: 0.452

[24, 2190] loss: 0.488

ovft_intermediate_models/epoch23_shallow.pt saved.


evaluating on training set...

Accuracy on test images: 0.904966

epoch 23 accuracy on train set is: 0.9049663758633224

evaluating on training set takes 64 seconds.

shallow_train shallow_test scratch_train scratch_test deep_train deep_test

0 0.849396 0.875682 0.277854 0.251999 NaN NaN

1 0.868889 0.891948 0.473737 0.542803 NaN NaN

2 0.877249 0.90976 0.651877 0.724555 NaN NaN

3 0.883224 0.89522 0.742321 0.83197 NaN NaN

4 0.883679 0.908033 0.776081 0.848419 NaN NaN

5 0.894311 0.913304 0.830153 0.892857 NaN NaN

6 0.897492 0.917212 0.839399 0.894039 NaN NaN

7 0.88979 0.907306 0.869706 0.914304 NaN NaN

8 0.889427 0.907034 0.882656 0.925391 NaN NaN

9 0.890722 0.906307 0.903194 0.951018 NaN NaN

10 0.896924 0.902308 0.910305 0.941567 NaN NaN

11 0.884996 0.895856 0.919257 0.959833 NaN NaN

12 0.898628 0.925754 0.923687 0.96365 NaN NaN

13 0.901808 0.914667 0.934115 0.961923 NaN NaN

14 0.896356 0.921756 0.928253 0.96365 NaN NaN

15 0.903694 0.921392 0.936796 0.96574 NaN NaN

16 0.903967 0.917121 0.942794 0.970102 NaN NaN

17 0.899696 0.916303 0.944089 0.969829 NaN NaN

18 0.900695 0.923391 0.94293 0.972465 NaN NaN

19 0.903512 0.913577 0.949041 0.973646 NaN NaN

20 0.900127 0.922483 0.949677 0.973101 NaN NaN

21 0.895265 0.915485 0.935751 0.955107 NaN NaN

22 0.90274 0.92012 0.952449 0.973646 NaN NaN

23 0.904966 NaN 0.953085 0.97619 NaN NaN

24 NaN NaN 0.958879 0.979916 NaN NaN

25 NaN NaN 0.959333 0.980189 NaN NaN

26 NaN NaN 0.960492 0.977463 NaN NaN

27 NaN NaN 0.966058 0.984824 NaN NaN

28 NaN NaN 0.957425 0.976372 NaN NaN

29 NaN NaN 0.959606 0.976009 NaN NaN

30 NaN NaN 0.964195 0.985642 NaN NaN

31 NaN NaN 0.964626 0.985551 NaN NaN

32 NaN NaN 0.96424 0.985187 NaN NaN

33 NaN NaN 0.961469 0.980825 NaN NaN

34 NaN NaN 0.964967 0.985369 NaN NaN

35 NaN NaN 0.970306 0.98655 NaN NaN

36 NaN NaN 0.967489 0.978281 NaN NaN

37 NaN NaN 0.972146 0.987913 NaN NaN

38 NaN NaN 0.968284 0.985642 NaN NaN

39 NaN NaN 0.966898 0.987005 NaN NaN

evaluating on test set...

Accuracy on test images: 0.917757

epoch 23 accuracy on test set is: 0.9177571792075608

evaluating on test set takes 16 seconds.

shallow_train shallow_test scratch_train scratch_test deep_train deep_test

0 0.849396 0.875682 0.277854 0.251999 NaN NaN

1 0.868889 0.891948 0.473737 0.542803 NaN NaN

2 0.877249 0.90976 0.651877 0.724555 NaN NaN

3 0.883224 0.89522 0.742321 0.83197 NaN NaN

4 0.883679 0.908033 0.776081 0.848419 NaN NaN

5 0.894311 0.913304 0.830153 0.892857 NaN NaN

6 0.897492 0.917212 0.839399 0.894039 NaN NaN

7 0.88979 0.907306 0.869706 0.914304 NaN NaN

8 0.889427 0.907034 0.882656 0.925391 NaN NaN

9 0.890722 0.906307 0.903194 0.951018 NaN NaN

10 0.896924 0.902308 0.910305 0.941567 NaN NaN

11 0.884996 0.895856 0.919257 0.959833 NaN NaN

12 0.898628 0.925754 0.923687 0.96365 NaN NaN

13 0.901808 0.914667 0.934115 0.961923 NaN NaN

14 0.896356 0.921756 0.928253 0.96365 NaN NaN

15 0.903694 0.921392 0.936796 0.96574 NaN NaN

16 0.903967 0.917121 0.942794 0.970102 NaN NaN

17 0.899696 0.916303 0.944089 0.969829 NaN NaN

18 0.900695 0.923391 0.94293 0.972465 NaN NaN

19 0.903512 0.913577 0.949041 0.973646 NaN NaN

20 0.900127 0.922483 0.949677 0.973101 NaN NaN

21 0.895265 0.915485 0.935751 0.955107 NaN NaN

22 0.90274 0.92012 0.952449 0.973646 NaN NaN

23 0.904966 0.917757 0.953085 0.97619 NaN NaN

24 NaN NaN 0.958879 0.979916 NaN NaN

25 NaN NaN 0.959333 0.980189 NaN NaN

26 NaN NaN 0.960492 0.977463 NaN NaN

27 NaN NaN 0.966058 0.984824 NaN NaN

28 NaN NaN 0.957425 0.976372 NaN NaN

29 NaN NaN 0.959606 0.976009 NaN NaN

30 NaN NaN 0.964195 0.985642 NaN NaN

31 NaN NaN 0.964626 0.985551 NaN NaN

32 NaN NaN 0.96424 0.985187 NaN NaN

33 NaN NaN 0.961469 0.980825 NaN NaN

34 NaN NaN 0.964967 0.985369 NaN NaN

35 NaN NaN 0.970306 0.98655 NaN NaN

36 NaN NaN 0.967489 0.978281 NaN NaN

37 NaN NaN 0.972146 0.987913 NaN NaN

38 NaN NaN 0.968284 0.985642 NaN NaN

39 NaN NaN 0.966898 0.987005 NaN NaN

epoch 23 takes 149 seconds.

[25, 30] loss: 0.443

[25, 60] loss: 0.457

[25, 90] loss: 0.557

[25, 120] loss: 0.414

[25, 150] loss: 0.460

[25, 180] loss: 0.484

[25, 210] loss: 0.481

[25, 240] loss: 0.468

[25, 270] loss: 0.486

[25, 300] loss: 0.534

[25, 330] loss: 0.485

[25, 360] loss: 0.478

[25, 390] loss: 0.457

[25, 420] loss: 0.436

[25, 450] loss: 0.541

[25, 480] loss: 0.553

[25, 510] loss: 0.480

[25, 540] loss: 0.437

[25, 570] loss: 0.415

[25, 600] loss: 0.499

[25, 630] loss: 0.533

[25, 660] loss: 0.447

[25, 690] loss: 0.447

[25, 720] loss: 0.483

[25, 750] loss: 0.447

[25, 780] loss: 0.417

[25, 810] loss: 0.500

[25, 840] loss: 0.520

[25, 870] loss: 0.524

[25, 900] loss: 0.432

[25, 930] loss: 0.422

[25, 960] loss: 0.515

[25, 990] loss: 0.496

[25, 1020] loss: 0.468

[25, 1050] loss: 0.473

[25, 1080] loss: 0.564

[25, 1110] loss: 0.426

[25, 1140] loss: 0.530

[25, 1170] loss: 0.485

[25, 1200] loss: 0.496

[25, 1230] loss: 0.541

[25, 1260] loss: 0.478

[25, 1290] loss: 0.517

[25, 1320] loss: 0.431

[25, 1350] loss: 0.508

[25, 1380] loss: 0.458

[25, 1410] loss: 0.444

[25, 1440] loss: 0.515

[25, 1470] loss: 0.500

[25, 1500] loss: 0.488

[25, 1530] loss: 0.547

[25, 1560] loss: 0.484

[25, 1590] loss: 0.569

[25, 1620] loss: 0.512

[25, 1650] loss: 0.564

[25, 1680] loss: 0.429

[25, 1710] loss: 0.389

[25, 1740] loss: 0.432

[25, 1770] loss: 0.509

[25, 1800] loss: 0.566

[25, 1830] loss: 0.501

[25, 1860] loss: 0.513

[25, 1890] loss: 0.517

[25, 1920] loss: 0.523

[25, 1950] loss: 0.536

[25, 1980] loss: 0.523

[25, 2010] loss: 0.432

[25, 2040] loss: 0.537

[25, 2070] loss: 0.517

[25, 2100] loss: 0.516

[25, 2130] loss: 0.641

[25, 2160] loss: 0.501

[25, 2190] loss: 0.553

ovft_intermediate_models/epoch24_shallow.pt saved.


evaluating on training set...

Accuracy on test images: 0.905852

epoch 24 accuracy on train set is: 0.905852417302799

evaluating on training set takes 64 seconds.

shallow_train shallow_test scratch_train scratch_test deep_train deep_test

0 0.849396 0.875682 0.277854 0.251999 NaN NaN

1 0.868889 0.891948 0.473737 0.542803 NaN NaN

2 0.877249 0.90976 0.651877 0.724555 NaN NaN

3 0.883224 0.89522 0.742321 0.83197 NaN NaN

4 0.883679 0.908033 0.776081 0.848419 NaN NaN

5 0.894311 0.913304 0.830153 0.892857 NaN NaN

6 0.897492 0.917212 0.839399 0.894039 NaN NaN

7 0.88979 0.907306 0.869706 0.914304 NaN NaN

8 0.889427 0.907034 0.882656 0.925391 NaN NaN

9 0.890722 0.906307 0.903194 0.951018 NaN NaN

10 0.896924 0.902308 0.910305 0.941567 NaN NaN

11 0.884996 0.895856 0.919257 0.959833 NaN NaN

12 0.898628 0.925754 0.923687 0.96365 NaN NaN

13 0.901808 0.914667 0.934115 0.961923 NaN NaN

14 0.896356 0.921756 0.928253 0.96365 NaN NaN

15 0.903694 0.921392 0.936796 0.96574 NaN NaN

16 0.903967 0.917121 0.942794 0.970102 NaN NaN

17 0.899696 0.916303 0.944089 0.969829 NaN NaN

18 0.900695 0.923391 0.94293 0.972465 NaN NaN

19 0.903512 0.913577 0.949041 0.973646 NaN NaN

20 0.900127 0.922483 0.949677 0.973101 NaN NaN

21 0.895265 0.915485 0.935751 0.955107 NaN NaN

22 0.90274 0.92012 0.952449 0.973646 NaN NaN

23 0.904966 0.917757 0.953085 0.97619 NaN NaN

24 0.905852 NaN 0.958879 0.979916 NaN NaN

25 NaN NaN 0.959333 0.980189 NaN NaN

26 NaN NaN 0.960492 0.977463 NaN NaN

27 NaN NaN 0.966058 0.984824 NaN NaN

28 NaN NaN 0.957425 0.976372 NaN NaN

29 NaN NaN 0.959606 0.976009 NaN NaN

30 NaN NaN 0.964195 0.985642 NaN NaN

31 NaN NaN 0.964626 0.985551 NaN NaN

32 NaN NaN 0.96424 0.985187 NaN NaN

33 NaN NaN 0.961469 0.980825 NaN NaN

34 NaN NaN 0.964967 0.985369 NaN NaN

35 NaN NaN 0.970306 0.98655 NaN NaN

36 NaN NaN 0.967489 0.978281 NaN NaN

37 NaN NaN 0.972146 0.987913 NaN NaN

38 NaN NaN 0.968284 0.985642 NaN NaN

39 NaN NaN 0.966898 0.987005 NaN NaN

evaluating on test set...

Accuracy on test images: 0.929844

epoch 24 accuracy on test set is: 0.9298436932024718

evaluating on test set takes 16 seconds.

shallow_train shallow_test scratch_train scratch_test deep_train deep_test

0 0.849396 0.875682 0.277854 0.251999 NaN NaN

1 0.868889 0.891948 0.473737 0.542803 NaN NaN

2 0.877249 0.90976 0.651877 0.724555 NaN NaN

3 0.883224 0.89522 0.742321 0.83197 NaN NaN

4 0.883679 0.908033 0.776081 0.848419 NaN NaN

5 0.894311 0.913304 0.830153 0.892857 NaN NaN

6 0.897492 0.917212 0.839399 0.894039 NaN NaN

7 0.88979 0.907306 0.869706 0.914304 NaN NaN

8 0.889427 0.907034 0.882656 0.925391 NaN NaN

9 0.890722 0.906307 0.903194 0.951018 NaN NaN

10 0.896924 0.902308 0.910305 0.941567 NaN NaN

11 0.884996 0.895856 0.919257 0.959833 NaN NaN

12 0.898628 0.925754 0.923687 0.96365 NaN NaN

13 0.901808 0.914667 0.934115 0.961923 NaN NaN

14 0.896356 0.921756 0.928253 0.96365 NaN NaN

15 0.903694 0.921392 0.936796 0.96574 NaN NaN

16 0.903967 0.917121 0.942794 0.970102 NaN NaN

17 0.899696 0.916303 0.944089 0.969829 NaN NaN

18 0.900695 0.923391 0.94293 0.972465 NaN NaN

19 0.903512 0.913577 0.949041 0.973646 NaN NaN

20 0.900127 0.922483 0.949677 0.973101 NaN NaN

21 0.895265 0.915485 0.935751 0.955107 NaN NaN

22 0.90274 0.92012 0.952449 0.973646 NaN NaN

23 0.904966 0.917757 0.953085 0.97619 NaN NaN

24 0.905852 0.929844 0.958879 0.979916 NaN NaN

25 NaN NaN 0.959333 0.980189 NaN NaN

26 NaN NaN 0.960492 0.977463 NaN NaN

27 NaN NaN 0.966058 0.984824 NaN NaN

28 NaN NaN 0.957425 0.976372 NaN NaN

29 NaN NaN 0.959606 0.976009 NaN NaN

30 NaN NaN 0.964195 0.985642 NaN NaN

31 NaN NaN 0.964626 0.985551 NaN NaN

32 NaN NaN 0.96424 0.985187 NaN NaN

33 NaN NaN 0.961469 0.980825 NaN NaN

34 NaN NaN 0.964967 0.985369 NaN NaN

35 NaN NaN 0.970306 0.98655 NaN NaN

36 NaN NaN 0.967489 0.978281 NaN NaN

37 NaN NaN 0.972146 0.987913 NaN NaN

38 NaN NaN 0.968284 0.985642 NaN NaN

39 NaN NaN 0.966898 0.987005 NaN NaN

epoch 24 takes 148 seconds.

[26, 30] loss: 0.415

[26, 60] loss: 0.465

[26, 90] loss: 0.501

[26, 120] loss: 0.468

[26, 150] loss: 0.479

[26, 180] loss: 0.463

[26, 210] loss: 0.581

[26, 240] loss: 0.551

[26, 270] loss: 0.522

[26, 300] loss: 0.502

[26, 330] loss: 0.449

[26, 360] loss: 0.462

[26, 390] loss: 0.458

[26, 420] loss: 0.392

[26, 450] loss: 0.477

[26, 480] loss: 0.501

[26, 510] loss: 0.471

[26, 540] loss: 0.498

[26, 570] loss: 0.587

[26, 600] loss: 0.477

[26, 630] loss: 0.426

[26, 660] loss: 0.534

[26, 690] loss: 0.490

[26, 720] loss: 0.472

[26, 750] loss: 0.505

[26, 780] loss: 0.493

[26, 810] loss: 0.475

[26, 840] loss: 0.450

[26, 870] loss: 0.509

[26, 900] loss: 0.599

[26, 930] loss: 0.413

[26, 960] loss: 0.515

[26, 990] loss: 0.535

[26, 1020] loss: 0.501

[26, 1050] loss: 0.571

[26, 1080] loss: 0.422

[26, 1110] loss: 0.403

[26, 1140] loss: 0.491

[26, 1170] loss: 0.465

[26, 1200] loss: 0.541

[26, 1230] loss: 0.486

[26, 1260] loss: 0.461

[26, 1290] loss: 0.448

[26, 1320] loss: 0.479

[26, 1350] loss: 0.527

[26, 1380] loss: 0.467

[26, 1410] loss: 0.491

[26, 1440] loss: 0.456

[26, 1470] loss: 0.522

[26, 1500] loss: 0.495

[26, 1530] loss: 0.507

[26, 1560] loss: 0.469

[26, 1590] loss: 0.409

[26, 1620] loss: 0.522

[26, 1650] loss: 0.489

[26, 1680] loss: 0.441

[26, 1710] loss: 0.453

[26, 1740] loss: 0.472

[26, 1770] loss: 0.476

[26, 1800] loss: 0.430

[26, 1830] loss: 0.441

[26, 1860] loss: 0.422

[26, 1890] loss: 0.459

[26, 1920] loss: 0.545

[26, 1950] loss: 0.605

[26, 1980] loss: 0.398

[26, 2010] loss: 0.418

[26, 2040] loss: 0.445

[26, 2070] loss: 0.415

[26, 2100] loss: 0.490

[26, 2130] loss: 0.493

[26, 2160] loss: 0.530

[26, 2190] loss: 0.568

ovft_intermediate_models/epoch25_shallow.pt saved.


evaluating on training set...

Accuracy on test images: 0.898878

epoch 25 accuracy on train set is: 0.8988776808433298

evaluating on training set takes 63 seconds.

shallow_train shallow_test scratch_train scratch_test deep_train deep_test

0 0.849396 0.875682 0.277854 0.251999 NaN NaN

1 0.868889 0.891948 0.473737 0.542803 NaN NaN

2 0.877249 0.90976 0.651877 0.724555 NaN NaN

3 0.883224 0.89522 0.742321 0.83197 NaN NaN

4 0.883679 0.908033 0.776081 0.848419 NaN NaN

5 0.894311 0.913304 0.830153 0.892857 NaN NaN

6 0.897492 0.917212 0.839399 0.894039 NaN NaN

7 0.88979 0.907306 0.869706 0.914304 NaN NaN

8 0.889427 0.907034 0.882656 0.925391 NaN NaN

9 0.890722 0.906307 0.903194 0.951018 NaN NaN

10 0.896924 0.902308 0.910305 0.941567 NaN NaN

11 0.884996 0.895856 0.919257 0.959833 NaN NaN

12 0.898628 0.925754 0.923687 0.96365 NaN NaN

13 0.901808 0.914667 0.934115 0.961923 NaN NaN

14 0.896356 0.921756 0.928253 0.96365 NaN NaN

15 0.903694 0.921392 0.936796 0.96574 NaN NaN

16 0.903967 0.917121 0.942794 0.970102 NaN NaN

17 0.899696 0.916303 0.944089 0.969829 NaN NaN

18 0.900695 0.923391 0.94293 0.972465 NaN NaN

19 0.903512 0.913577 0.949041 0.973646 NaN NaN

20 0.900127 0.922483 0.949677 0.973101 NaN NaN

21 0.895265 0.915485 0.935751 0.955107 NaN NaN

22 0.90274 0.92012 0.952449 0.973646 NaN NaN

23 0.904966 0.917757 0.953085 0.97619 NaN NaN

24 0.905852 0.929844 0.958879 0.979916 NaN NaN

25 0.898878 NaN 0.959333 0.980189 NaN NaN

26 NaN NaN 0.960492 0.977463 NaN NaN

27 NaN NaN 0.966058 0.984824 NaN NaN

28 NaN NaN 0.957425 0.976372 NaN NaN

29 NaN NaN 0.959606 0.976009 NaN NaN

30 NaN NaN 0.964195 0.985642 NaN NaN

31 NaN NaN 0.964626 0.985551 NaN NaN

32 NaN NaN 0.96424 0.985187 NaN NaN

33 NaN NaN 0.961469 0.980825 NaN NaN

34 NaN NaN 0.964967 0.985369 NaN NaN

35 NaN NaN 0.970306 0.98655 NaN NaN

36 NaN NaN 0.967489 0.978281 NaN NaN

37 NaN NaN 0.972146 0.987913 NaN NaN

38 NaN NaN 0.968284 0.985642 NaN NaN

39 NaN NaN 0.966898 0.987005 NaN NaN

evaluating on test set...

Accuracy on test images: 0.912850

epoch 25 accuracy on test set is: 0.9128498727735369

evaluating on test set takes 16 seconds.

shallow_train shallow_test scratch_train scratch_test deep_train deep_test

0 0.849396 0.875682 0.277854 0.251999 NaN NaN

1 0.868889 0.891948 0.473737 0.542803 NaN NaN

2 0.877249 0.90976 0.651877 0.724555 NaN NaN

3 0.883224 0.89522 0.742321 0.83197 NaN NaN

4 0.883679 0.908033 0.776081 0.848419 NaN NaN

5 0.894311 0.913304 0.830153 0.892857 NaN NaN

6 0.897492 0.917212 0.839399 0.894039 NaN NaN

7 0.88979 0.907306 0.869706 0.914304 NaN NaN

8 0.889427 0.907034 0.882656 0.925391 NaN NaN

9 0.890722 0.906307 0.903194 0.951018 NaN NaN

10 0.896924 0.902308 0.910305 0.941567 NaN NaN

11 0.884996 0.895856 0.919257 0.959833 NaN NaN

12 0.898628 0.925754 0.923687 0.96365 NaN NaN

13 0.901808 0.914667 0.934115 0.961923 NaN NaN

14 0.896356 0.921756 0.928253 0.96365 NaN NaN

15 0.903694 0.921392 0.936796 0.96574 NaN NaN

16 0.903967 0.917121 0.942794 0.970102 NaN NaN

17 0.899696 0.916303 0.944089 0.969829 NaN NaN

18 0.900695 0.923391 0.94293 0.972465 NaN NaN

19 0.903512 0.913577 0.949041 0.973646 NaN NaN

20 0.900127 0.922483 0.949677 0.973101 NaN NaN

21 0.895265 0.915485 0.935751 0.955107 NaN NaN

22 0.90274 0.92012 0.952449 0.973646 NaN NaN

23 0.904966 0.917757 0.953085 0.97619 NaN NaN

24 0.905852 0.929844 0.958879 0.979916 NaN NaN

25 0.898878 0.91285 0.959333 0.980189 NaN NaN

26 NaN NaN 0.960492 0.977463 NaN NaN

27 NaN NaN 0.966058 0.984824 NaN NaN

28 NaN NaN 0.957425 0.976372 NaN NaN

29 NaN NaN 0.959606 0.976009 NaN NaN

30 NaN NaN 0.964195 0.985642 NaN NaN

31 NaN NaN 0.964626 0.985551 NaN NaN

32 NaN NaN 0.96424 0.985187 NaN NaN

33 NaN NaN 0.961469 0.980825 NaN NaN

34 NaN NaN 0.964967 0.985369 NaN NaN

35 NaN NaN 0.970306 0.98655 NaN NaN

36 NaN NaN 0.967489 0.978281 NaN NaN

37 NaN NaN 0.972146 0.987913 NaN NaN

38 NaN NaN 0.968284 0.985642 NaN NaN

39 NaN NaN 0.966898 0.987005 NaN NaN

epoch 25 takes 148 seconds.

[27, 30] loss: 0.575

[27, 60] loss: 0.428

[27, 90] loss: 0.391

[27, 120] loss: 0.461

[27, 150] loss: 0.472

[27, 180] loss: 0.468

[27, 210] loss: 0.455

[27, 240] loss: 0.455

[27, 270] loss: 0.462

[27, 300] loss: 0.473

[27, 330] loss: 0.474

[27, 360] loss: 0.529

[27, 390] loss: 0.480

[27, 420] loss: 0.522

[27, 450] loss: 0.559

[27, 480] loss: 0.488

[27, 510] loss: 0.521

[27, 540] loss: 0.544

[27, 570] loss: 0.397

[27, 600] loss: 0.411

[27, 630] loss: 0.477

[27, 660] loss: 0.449

[27, 690] loss: 0.454

[27, 720] loss: 0.482

[27, 750] loss: 0.475

[27, 780] loss: 0.546

[27, 810] loss: 0.424

[27, 840] loss: 0.447

[27, 870] loss: 0.559

[27, 900] loss: 0.511

[27, 930] loss: 0.458

[27, 960] loss: 0.491

[27, 990] loss: 0.449

[27, 1020] loss: 0.523

[27, 1050] loss: 0.496

[27, 1080] loss: 0.512

[27, 1110] loss: 0.501

[27, 1140] loss: 0.586

[27, 1170] loss: 0.427

[27, 1200] loss: 0.484

[27, 1230] loss: 0.393

[27, 1260] loss: 0.486

[27, 1290] loss: 0.462

[27, 1320] loss: 0.384

[27, 1350] loss: 0.540

[27, 1380] loss: 0.450

[27, 1410] loss: 0.429

[27, 1440] loss: 0.490

[27, 1470] loss: 0.565

[27, 1500] loss: 0.557

[27, 1530] loss: 0.477

[27, 1560] loss: 0.483

[27, 1590] loss: 0.439

[27, 1620] loss: 0.493

[27, 1650] loss: 0.496

[27, 1680] loss: 0.407

[27, 1710] loss: 0.471

[27, 1740] loss: 0.488

[27, 1770] loss: 0.453

[27, 1800] loss: 0.535

[27, 1830] loss: 0.470

[27, 1860] loss: 0.480

[27, 1890] loss: 0.483

[27, 1920] loss: 0.460

[27, 1950] loss: 0.532

[27, 1980] loss: 0.506

[27, 2010] loss: 0.537

[27, 2040] loss: 0.506

[27, 2070] loss: 0.423

[27, 2100] loss: 0.394

[27, 2130] loss: 0.346

[27, 2160] loss: 0.484

[27, 2190] loss: 0.456

ovft_intermediate_models/epoch26_shallow.pt saved.


evaluating on training set...

Accuracy on test images: 0.906761

epoch 26 accuracy on train set is: 0.9067611777535441

evaluating on training set takes 63 seconds.

shallow_train shallow_test scratch_train scratch_test deep_train deep_test

0 0.849396 0.875682 0.277854 0.251999 NaN NaN

1 0.868889 0.891948 0.473737 0.542803 NaN NaN

2 0.877249 0.90976 0.651877 0.724555 NaN NaN

3 0.883224 0.89522 0.742321 0.83197 NaN NaN

4 0.883679 0.908033 0.776081 0.848419 NaN NaN

5 0.894311 0.913304 0.830153 0.892857 NaN NaN

6 0.897492 0.917212 0.839399 0.894039 NaN NaN

7 0.88979 0.907306 0.869706 0.914304 NaN NaN

8 0.889427 0.907034 0.882656 0.925391 NaN NaN

9 0.890722 0.906307 0.903194 0.951018 NaN NaN

10 0.896924 0.902308 0.910305 0.941567 NaN NaN

11 0.884996 0.895856 0.919257 0.959833 NaN NaN

12 0.898628 0.925754 0.923687 0.96365 NaN NaN

13 0.901808 0.914667 0.934115 0.961923 NaN NaN

14 0.896356 0.921756 0.928253 0.96365 NaN NaN

15 0.903694 0.921392 0.936796 0.96574 NaN NaN

16 0.903967 0.917121 0.942794 0.970102 NaN NaN

17 0.899696 0.916303 0.944089 0.969829 NaN NaN

18 0.900695 0.923391 0.94293 0.972465 NaN NaN

19 0.903512 0.913577 0.949041 0.973646 NaN NaN

20 0.900127 0.922483 0.949677 0.973101 NaN NaN

21 0.895265 0.915485 0.935751 0.955107 NaN NaN

22 0.90274 0.92012 0.952449 0.973646 NaN NaN

23 0.904966 0.917757 0.953085 0.97619 NaN NaN

24 0.905852 0.929844 0.958879 0.979916 NaN NaN

25 0.898878 0.91285 0.959333 0.980189 NaN NaN

26 0.906761 NaN 0.960492 0.977463 NaN NaN

27 NaN NaN 0.966058 0.984824 NaN NaN

28 NaN NaN 0.957425 0.976372 NaN NaN

29 NaN NaN 0.959606 0.976009 NaN NaN

30 NaN NaN 0.964195 0.985642 NaN NaN

31 NaN NaN 0.964626 0.985551 NaN NaN

32 NaN NaN 0.96424 0.985187 NaN NaN

33 NaN NaN 0.961469 0.980825 NaN NaN

34 NaN NaN 0.964967 0.985369 NaN NaN

35 NaN NaN 0.970306 0.98655 NaN NaN

36 NaN NaN 0.967489 0.978281 NaN NaN

37 NaN NaN 0.972146 0.987913 NaN NaN

38 NaN NaN 0.968284 0.985642 NaN NaN

39 NaN NaN 0.966898 0.987005 NaN NaN

evaluating on test set...

Accuracy on test images: 0.915394

epoch 26 accuracy on test set is: 0.9153944020356234

evaluating on test set takes 16 seconds.

shallow_train shallow_test scratch_train scratch_test deep_train deep_test

0 0.849396 0.875682 0.277854 0.251999 NaN NaN

1 0.868889 0.891948 0.473737 0.542803 NaN NaN

2 0.877249 0.90976 0.651877 0.724555 NaN NaN

3 0.883224 0.89522 0.742321 0.83197 NaN NaN

4 0.883679 0.908033 0.776081 0.848419 NaN NaN

5 0.894311 0.913304 0.830153 0.892857 NaN NaN

6 0.897492 0.917212 0.839399 0.894039 NaN NaN

7 0.88979 0.907306 0.869706 0.914304 NaN NaN

8 0.889427 0.907034 0.882656 0.925391 NaN NaN

9 0.890722 0.906307 0.903194 0.951018 NaN NaN

10 0.896924 0.902308 0.910305 0.941567 NaN NaN

11 0.884996 0.895856 0.919257 0.959833 NaN NaN

12 0.898628 0.925754 0.923687 0.96365 NaN NaN

13 0.901808 0.914667 0.934115 0.961923 NaN NaN

14 0.896356 0.921756 0.928253 0.96365 NaN NaN

15 0.903694 0.921392 0.936796 0.96574 NaN NaN

16 0.903967 0.917121 0.942794 0.970102 NaN NaN

17 0.899696 0.916303 0.944089 0.969829 NaN NaN

18 0.900695 0.923391 0.94293 0.972465 NaN NaN

19 0.903512 0.913577 0.949041 0.973646 NaN NaN

20 0.900127 0.922483 0.949677 0.973101 NaN NaN

21 0.895265 0.915485 0.935751 0.955107 NaN NaN

22 0.90274 0.92012 0.952449 0.973646 NaN NaN

23 0.904966 0.917757 0.953085 0.97619 NaN NaN

24 0.905852 0.929844 0.958879 0.979916 NaN NaN

25 0.898878 0.91285 0.959333 0.980189 NaN NaN

26 0.906761 0.915394 0.960492 0.977463 NaN NaN

27 NaN NaN 0.966058 0.984824 NaN NaN

28 NaN NaN 0.957425 0.976372 NaN NaN

29 NaN NaN 0.959606 0.976009 NaN NaN

30 NaN NaN 0.964195 0.985642 NaN NaN

31 NaN NaN 0.964626 0.985551 NaN NaN

32 NaN NaN 0.96424 0.985187 NaN NaN

33 NaN NaN 0.961469 0.980825 NaN NaN

34 NaN NaN 0.964967 0.985369 NaN NaN

35 NaN NaN 0.970306 0.98655 NaN NaN

36 NaN NaN 0.967489 0.978281 NaN NaN

37 NaN NaN 0.972146 0.987913 NaN NaN

38 NaN NaN 0.968284 0.985642 NaN NaN

39 NaN NaN 0.966898 0.987005 NaN NaN

epoch 26 takes 149 seconds.

[28, 30] loss: 0.496

[28, 60] loss: 0.440

[28, 90] loss: 0.487

[28, 120] loss: 0.506

[28, 150] loss: 0.469

[28, 180] loss: 0.605

[28, 210] loss: 0.508

[28, 240] loss: 0.533

[28, 270] loss: 0.496

[28, 300] loss: 0.415

[28, 330] loss: 0.485

[28, 360] loss: 0.465

[28, 390] loss: 0.447

[28, 420] loss: 0.402

[28, 450] loss: 0.444

[28, 480] loss: 0.460

[28, 510] loss: 0.575

[28, 540] loss: 0.454

[28, 570] loss: 0.371

[28, 600] loss: 0.546

[28, 630] loss: 0.540

[28, 660] loss: 0.518

[28, 690] loss: 0.543

[28, 720] loss: 0.415

[28, 750] loss: 0.447

[28, 780] loss: 0.378

[28, 810] loss: 0.437

[28, 840] loss: 0.449

[28, 870] loss: 0.454

[28, 900] loss: 0.492

[28, 930] loss: 0.539

[28, 960] loss: 0.538

[28, 990] loss: 0.470

[28, 1020] loss: 0.518

[28, 1050] loss: 0.446

[28, 1080] loss: 0.463

[28, 1110] loss: 0.461

[28, 1140] loss: 0.456

[28, 1170] loss: 0.476

[28, 1200] loss: 0.422

[28, 1230] loss: 0.511

[28, 1260] loss: 0.535

[28, 1290] loss: 0.436

[28, 1320] loss: 0.417

[28, 1350] loss: 0.466

[28, 1380] loss: 0.392

[28, 1410] loss: 0.445

[28, 1440] loss: 0.523

[28, 1470] loss: 0.442

[28, 1500] loss: 0.400

[28, 1530] loss: 0.482

[28, 1560] loss: 0.588

[28, 1590] loss: 0.443

[28, 1620] loss: 0.521

[28, 1650] loss: 0.497

[28, 1680] loss: 0.426

[28, 1710] loss: 0.486

[28, 1740] loss: 0.462

[28, 1770] loss: 0.448

[28, 1800] loss: 0.474

[28, 1830] loss: 0.558

[28, 1860] loss: 0.422

[28, 1890] loss: 0.461

[28, 1920] loss: 0.450

[28, 1950] loss: 0.454

[28, 1980] loss: 0.585

[28, 2010] loss: 0.552

[28, 2040] loss: 0.529

[28, 2070] loss: 0.501

[28, 2100] loss: 0.442

[28, 2130] loss: 0.436

[28, 2160] loss: 0.427

[28, 2190] loss: 0.482

ovft_intermediate_models/epoch27_shallow.pt saved.


evaluating on training set...

Accuracy on test images: 0.904444

epoch 27 accuracy on train set is: 0.9044438386041439

evaluating on training set takes 64 seconds.

shallow_train shallow_test scratch_train scratch_test deep_train deep_test

0 0.849396 0.875682 0.277854 0.251999 NaN NaN

1 0.868889 0.891948 0.473737 0.542803 NaN NaN

2 0.877249 0.90976 0.651877 0.724555 NaN NaN

3 0.883224 0.89522 0.742321 0.83197 NaN NaN

4 0.883679 0.908033 0.776081 0.848419 NaN NaN

5 0.894311 0.913304 0.830153 0.892857 NaN NaN

6 0.897492 0.917212 0.839399 0.894039 NaN NaN

7 0.88979 0.907306 0.869706 0.914304 NaN NaN

8 0.889427 0.907034 0.882656 0.925391 NaN NaN

9 0.890722 0.906307 0.903194 0.951018 NaN NaN

10 0.896924 0.902308 0.910305 0.941567 NaN NaN

11 0.884996 0.895856 0.919257 0.959833 NaN NaN

12 0.898628 0.925754 0.923687 0.96365 NaN NaN

13 0.901808 0.914667 0.934115 0.961923 NaN NaN

14 0.896356 0.921756 0.928253 0.96365 NaN NaN

15 0.903694 0.921392 0.936796 0.96574 NaN NaN

16 0.903967 0.917121 0.942794 0.970102 NaN NaN

17 0.899696 0.916303 0.944089 0.969829 NaN NaN

18 0.900695 0.923391 0.94293 0.972465 NaN NaN

19 0.903512 0.913577 0.949041 0.973646 NaN NaN

20 0.900127 0.922483 0.949677 0.973101 NaN NaN

21 0.895265 0.915485 0.935751 0.955107 NaN NaN

22 0.90274 0.92012 0.952449 0.973646 NaN NaN

23 0.904966 0.917757 0.953085 0.97619 NaN NaN

24 0.905852 0.929844 0.958879 0.979916 NaN NaN

25 0.898878 0.91285 0.959333 0.980189 NaN NaN

26 0.906761 0.915394 0.960492 0.977463 NaN NaN

27 0.904444 NaN 0.966058 0.984824 NaN NaN

28 NaN NaN 0.957425 0.976372 NaN NaN

29 NaN NaN 0.959606 0.976009 NaN NaN

30 NaN NaN 0.964195 0.985642 NaN NaN

31 NaN NaN 0.964626 0.985551 NaN NaN

32 NaN NaN 0.96424 0.985187 NaN NaN

33 NaN NaN 0.961469 0.980825 NaN NaN

34 NaN NaN 0.964967 0.985369 NaN NaN

35 NaN NaN 0.970306 0.98655 NaN NaN

36 NaN NaN 0.967489 0.978281 NaN NaN

37 NaN NaN 0.972146 0.987913 NaN NaN

38 NaN NaN 0.968284 0.985642 NaN NaN

39 NaN NaN 0.966898 0.987005 NaN NaN

evaluating on test set...

Accuracy on test images: 0.911759

epoch 27 accuracy on test set is: 0.9117593602326427

evaluating on test set takes 16 seconds.

shallow_train shallow_test scratch_train scratch_test deep_train deep_test

0 0.849396 0.875682 0.277854 0.251999 NaN NaN

1 0.868889 0.891948 0.473737 0.542803 NaN NaN

2 0.877249 0.90976 0.651877 0.724555 NaN NaN

3 0.883224 0.89522 0.742321 0.83197 NaN NaN

4 0.883679 0.908033 0.776081 0.848419 NaN NaN

5 0.894311 0.913304 0.830153 0.892857 NaN NaN

6 0.897492 0.917212 0.839399 0.894039 NaN NaN

7 0.88979 0.907306 0.869706 0.914304 NaN NaN

8 0.889427 0.907034 0.882656 0.925391 NaN NaN

9 0.890722 0.906307 0.903194 0.951018 NaN NaN

10 0.896924 0.902308 0.910305 0.941567 NaN NaN

11 0.884996 0.895856 0.919257 0.959833 NaN NaN

12 0.898628 0.925754 0.923687 0.96365 NaN NaN

13 0.901808 0.914667 0.934115 0.961923 NaN NaN

14 0.896356 0.921756 0.928253 0.96365 NaN NaN

15 0.903694 0.921392 0.936796 0.96574 NaN NaN

16 0.903967 0.917121 0.942794 0.970102 NaN NaN

17 0.899696 0.916303 0.944089 0.969829 NaN NaN

18 0.900695 0.923391 0.94293 0.972465 NaN NaN

19 0.903512 0.913577 0.949041 0.973646 NaN NaN

20 0.900127 0.922483 0.949677 0.973101 NaN NaN

21 0.895265 0.915485 0.935751 0.955107 NaN NaN

22 0.90274 0.92012 0.952449 0.973646 NaN NaN

23 0.904966 0.917757 0.953085 0.97619 NaN NaN

24 0.905852 0.929844 0.958879 0.979916 NaN NaN

25 0.898878 0.91285 0.959333 0.980189 NaN NaN

26 0.906761 0.915394 0.960492 0.977463 NaN NaN

27 0.904444 0.911759 0.966058 0.984824 NaN NaN

28 NaN NaN 0.957425 0.976372 NaN NaN

29 NaN NaN 0.959606 0.976009 NaN NaN

30 NaN NaN 0.964195 0.985642 NaN NaN

31 NaN NaN 0.964626 0.985551 NaN NaN

32 NaN NaN 0.96424 0.985187 NaN NaN

33 NaN NaN 0.961469 0.980825 NaN NaN

34 NaN NaN 0.964967 0.985369 NaN NaN

35 NaN NaN 0.970306 0.98655 NaN NaN

36 NaN NaN 0.967489 0.978281 NaN NaN

37 NaN NaN 0.972146 0.987913 NaN NaN

38 NaN NaN 0.968284 0.985642 NaN NaN

39 NaN NaN 0.966898 0.987005 NaN NaN

epoch 27 takes 149 seconds.

[29, 30] loss: 0.497

[29, 60] loss: 0.521

[29, 90] loss: 0.463

[29, 120] loss: 0.489

[29, 150] loss: 0.522

[29, 180] loss: 0.517

[29, 210] loss: 0.507

[29, 240] loss: 0.420

[29, 270] loss: 0.434

[29, 300] loss: 0.560

[29, 330] loss: 0.504

[29, 360] loss: 0.553

[29, 390] loss: 0.437

[29, 420] loss: 0.544

[29, 450] loss: 0.368

[29, 480] loss: 0.446

[29, 510] loss: 0.413

[29, 540] loss: 0.446

[29, 570] loss: 0.516

[29, 600] loss: 0.511

[29, 630] loss: 0.469

[29, 660] loss: 0.448

[29, 690] loss: 0.475

[29, 720] loss: 0.461

[29, 750] loss: 0.553

[29, 780] loss: 0.473

[29, 810] loss: 0.578

[29, 840] loss: 0.483

[29, 870] loss: 0.415

[29, 900] loss: 0.456

[29, 930] loss: 0.548

[29, 960] loss: 0.531

[29, 990] loss: 0.434

[29, 1020] loss: 0.457

[29, 1050] loss: 0.422

[29, 1080] loss: 0.468

[29, 1110] loss: 0.450

[29, 1140] loss: 0.485

[29, 1170] loss: 0.502

[29, 1200] loss: 0.528

[29, 1230] loss: 0.393

[29, 1260] loss: 0.601

[29, 1290] loss: 0.517

[29, 1320] loss: 0.491

[29, 1350] loss: 0.446

[29, 1380] loss: 0.486

[29, 1410] loss: 0.512

[29, 1440] loss: 0.491

[29, 1470] loss: 0.590

[29, 1500] loss: 0.458

[29, 1530] loss: 0.386

[29, 1560] loss: 0.520

[29, 1590] loss: 0.420

[29, 1620] loss: 0.401

[29, 1650] loss: 0.409

[29, 1680] loss: 0.463

[29, 1710] loss: 0.447

[29, 1740] loss: 0.506

[29, 1770] loss: 0.417

[29, 1800] loss: 0.510

[29, 1830] loss: 0.441

[29, 1860] loss: 0.455

[29, 1890] loss: 0.469

[29, 1920] loss: 0.479

[29, 1950] loss: 0.459

[29, 1980] loss: 0.462

[29, 2010] loss: 0.468

[29, 2040] loss: 0.438

[29, 2070] loss: 0.591

[29, 2100] loss: 0.464

[29, 2130] loss: 0.496

[29, 2160] loss: 0.556

[29, 2190] loss: 0.488

ovft_intermediate_models/epoch28_shallow.pt saved.


evaluating on training set...

Accuracy on test images: 0.905103

epoch 28 accuracy on train set is: 0.9051026899309342

evaluating on training set takes 64 seconds.

shallow_train shallow_test scratch_train scratch_test deep_train deep_test

0 0.849396 0.875682 0.277854 0.251999 NaN NaN

1 0.868889 0.891948 0.473737 0.542803 NaN NaN

2 0.877249 0.90976 0.651877 0.724555 NaN NaN

3 0.883224 0.89522 0.742321 0.83197 NaN NaN

4 0.883679 0.908033 0.776081 0.848419 NaN NaN

5 0.894311 0.913304 0.830153 0.892857 NaN NaN

6 0.897492 0.917212 0.839399 0.894039 NaN NaN

7 0.88979 0.907306 0.869706 0.914304 NaN NaN

8 0.889427 0.907034 0.882656 0.925391 NaN NaN

9 0.890722 0.906307 0.903194 0.951018 NaN NaN

10 0.896924 0.902308 0.910305 0.941567 NaN NaN

11 0.884996 0.895856 0.919257 0.959833 NaN NaN

12 0.898628 0.925754 0.923687 0.96365 NaN NaN

13 0.901808 0.914667 0.934115 0.961923 NaN NaN

14 0.896356 0.921756 0.928253 0.96365 NaN NaN

15 0.903694 0.921392 0.936796 0.96574 NaN NaN

16 0.903967 0.917121 0.942794 0.970102 NaN NaN

17 0.899696 0.916303 0.944089 0.969829 NaN NaN

18 0.900695 0.923391 0.94293 0.972465 NaN NaN

19 0.903512 0.913577 0.949041 0.973646 NaN NaN

20 0.900127 0.922483 0.949677 0.973101 NaN NaN

21 0.895265 0.915485 0.935751 0.955107 NaN NaN

22 0.90274 0.92012 0.952449 0.973646 NaN NaN

23 0.904966 0.917757 0.953085 0.97619 NaN NaN

24 0.905852 0.929844 0.958879 0.979916 NaN NaN

25 0.898878 0.91285 0.959333 0.980189 NaN NaN

26 0.906761 0.915394 0.960492 0.977463 NaN NaN

27 0.904444 0.911759 0.966058 0.984824 NaN NaN

28 0.905103 NaN 0.957425 0.976372 NaN NaN

29 NaN NaN 0.959606 0.976009 NaN NaN

30 NaN NaN 0.964195 0.985642 NaN NaN

31 NaN NaN 0.964626 0.985551 NaN NaN

32 NaN NaN 0.96424 0.985187 NaN NaN

33 NaN NaN 0.961469 0.980825 NaN NaN

34 NaN NaN 0.964967 0.985369 NaN NaN

35 NaN NaN 0.970306 0.98655 NaN NaN

36 NaN NaN 0.967489 0.978281 NaN NaN

37 NaN NaN 0.972146 0.987913 NaN NaN

38 NaN NaN 0.968284 0.985642 NaN NaN

39 NaN NaN 0.966898 0.987005 NaN NaN

evaluating on test set...

Accuracy on test images: 0.922846

epoch 28 accuracy on test set is: 0.9228462377317339

evaluating on test set takes 16 seconds.

shallow_train shallow_test scratch_train scratch_test deep_train deep_test

0 0.849396 0.875682 0.277854 0.251999 NaN NaN

1 0.868889 0.891948 0.473737 0.542803 NaN NaN

2 0.877249 0.90976 0.651877 0.724555 NaN NaN

3 0.883224 0.89522 0.742321 0.83197 NaN NaN

4 0.883679 0.908033 0.776081 0.848419 NaN NaN

5 0.894311 0.913304 0.830153 0.892857 NaN NaN

6 0.897492 0.917212 0.839399 0.894039 NaN NaN

7 0.88979 0.907306 0.869706 0.914304 NaN NaN

8 0.889427 0.907034 0.882656 0.925391 NaN NaN

9 0.890722 0.906307 0.903194 0.951018 NaN NaN

10 0.896924 0.902308 0.910305 0.941567 NaN NaN

11 0.884996 0.895856 0.919257 0.959833 NaN NaN

12 0.898628 0.925754 0.923687 0.96365 NaN NaN

13 0.901808 0.914667 0.934115 0.961923 NaN NaN

14 0.896356 0.921756 0.928253 0.96365 NaN NaN

15 0.903694 0.921392 0.936796 0.96574 NaN NaN

16 0.903967 0.917121 0.942794 0.970102 NaN NaN

17 0.899696 0.916303 0.944089 0.969829 NaN NaN

18 0.900695 0.923391 0.94293 0.972465 NaN NaN

19 0.903512 0.913577 0.949041 0.973646 NaN NaN

20 0.900127 0.922483 0.949677 0.973101 NaN NaN

21 0.895265 0.915485 0.935751 0.955107 NaN NaN

22 0.90274 0.92012 0.952449 0.973646 NaN NaN

23 0.904966 0.917757 0.953085 0.97619 NaN NaN

24 0.905852 0.929844 0.958879 0.979916 NaN NaN

25 0.898878 0.91285 0.959333 0.980189 NaN NaN

26 0.906761 0.915394 0.960492 0.977463 NaN NaN

27 0.904444 0.911759 0.966058 0.984824 NaN NaN

28 0.905103 0.922846 0.957425 0.976372 NaN NaN

29 NaN NaN 0.959606 0.976009 NaN NaN

30 NaN NaN 0.964195 0.985642 NaN NaN

31 NaN NaN 0.964626 0.985551 NaN NaN

32 NaN NaN 0.96424 0.985187 NaN NaN

33 NaN NaN 0.961469 0.980825 NaN NaN

34 NaN NaN 0.964967 0.985369 NaN NaN

35 NaN NaN 0.970306 0.98655 NaN NaN

36 NaN NaN 0.967489 0.978281 NaN NaN

37 NaN NaN 0.972146 0.987913 NaN NaN

38 NaN NaN 0.968284 0.985642 NaN NaN

39 NaN NaN 0.966898 0.987005 NaN NaN

epoch 28 takes 148 seconds.

[30, 30] loss: 0.494

[30, 60] loss: 0.428

[30, 90] loss: 0.450

[30, 120] loss: 0.517

[30, 150] loss: 0.416

[30, 180] loss: 0.466

[30, 210] loss: 0.434

[30, 240] loss: 0.534

[30, 270] loss: 0.445

[30, 300] loss: 0.467

[30, 330] loss: 0.472

[30, 360] loss: 0.386

[30, 390] loss: 0.567

[30, 420] loss: 0.598

[30, 450] loss: 0.413

[30, 480] loss: 0.383

[30, 510] loss: 0.438

[30, 540] loss: 0.578

[30, 570] loss: 0.597

[30, 600] loss: 0.545

[30, 630] loss: 0.606

[30, 660] loss: 0.479

[30, 690] loss: 0.520

[30, 720] loss: 0.446

[30, 750] loss: 0.478

[30, 780] loss: 0.533

[30, 810] loss: 0.513

[30, 840] loss: 0.525

[30, 870] loss: 0.450

[30, 900] loss: 0.404

[30, 930] loss: 0.458

[30, 960] loss: 0.486

[30, 990] loss: 0.574

[30, 1020] loss: 0.471

[30, 1050] loss: 0.447

[30, 1080] loss: 0.497

[30, 1110] loss: 0.508

[30, 1140] loss: 0.518

[30, 1170] loss: 0.539

[30, 1200] loss: 0.429

[30, 1230] loss: 0.516

[30, 1260] loss: 0.434

[30, 1290] loss: 0.464

[30, 1320] loss: 0.464

[30, 1350] loss: 0.492

[30, 1380] loss: 0.413

[30, 1410] loss: 0.449

[30, 1440] loss: 0.493

[30, 1470] loss: 0.469

[30, 1500] loss: 0.437

[30, 1530] loss: 0.553

[30, 1560] loss: 0.497

[30, 1590] loss: 0.486

[30, 1620] loss: 0.461

[30, 1650] loss: 0.414

[30, 1680] loss: 0.474

[30, 1710] loss: 0.439

[30, 1740] loss: 0.473

[30, 1770] loss: 0.425

[30, 1800] loss: 0.474

[30, 1830] loss: 0.418

[30, 1860] loss: 0.531

[30, 1890] loss: 0.491

[30, 1920] loss: 0.368

[30, 1950] loss: 0.509

[30, 1980] loss: 0.448

[30, 2010] loss: 0.473

[30, 2040] loss: 0.501

[30, 2070] loss: 0.518

[30, 2100] loss: 0.470

[30, 2130] loss: 0.616

[30, 2160] loss: 0.448

[30, 2190] loss: 0.520

ovft_intermediate_models/epoch29_shallow.pt saved.


evaluating on training set...

Accuracy on test images: 0.908806

epoch 29 accuracy on train set is: 0.9088058887677208

evaluating on training set takes 64 seconds.

shallow_train shallow_test scratch_train scratch_test deep_train deep_test

0 0.849396 0.875682 0.277854 0.251999 NaN NaN

1 0.868889 0.891948 0.473737 0.542803 NaN NaN

2 0.877249 0.90976 0.651877 0.724555 NaN NaN

3 0.883224 0.89522 0.742321 0.83197 NaN NaN

4 0.883679 0.908033 0.776081 0.848419 NaN NaN

5 0.894311 0.913304 0.830153 0.892857 NaN NaN

6 0.897492 0.917212 0.839399 0.894039 NaN NaN

7 0.88979 0.907306 0.869706 0.914304 NaN NaN

8 0.889427 0.907034 0.882656 0.925391 NaN NaN

9 0.890722 0.906307 0.903194 0.951018 NaN NaN

10 0.896924 0.902308 0.910305 0.941567 NaN NaN

11 0.884996 0.895856 0.919257 0.959833 NaN NaN

12 0.898628 0.925754 0.923687 0.96365 NaN NaN

13 0.901808 0.914667 0.934115 0.961923 NaN NaN

14 0.896356 0.921756 0.928253 0.96365 NaN NaN

15 0.903694 0.921392 0.936796 0.96574 NaN NaN

16 0.903967 0.917121 0.942794 0.970102 NaN NaN

17 0.899696 0.916303 0.944089 0.969829 NaN NaN

18 0.900695 0.923391 0.94293 0.972465 NaN NaN

19 0.903512 0.913577 0.949041 0.973646 NaN NaN

20 0.900127 0.922483 0.949677 0.973101 NaN NaN

21 0.895265 0.915485 0.935751 0.955107 NaN NaN

22 0.90274 0.92012 0.952449 0.973646 NaN NaN

23 0.904966 0.917757 0.953085 0.97619 NaN NaN

24 0.905852 0.929844 0.958879 0.979916 NaN NaN

25 0.898878 0.91285 0.959333 0.980189 NaN NaN

26 0.906761 0.915394 0.960492 0.977463 NaN NaN

27 0.904444 0.911759 0.966058 0.984824 NaN NaN

28 0.905103 0.922846 0.957425 0.976372 NaN NaN

29 0.908806 NaN 0.959606 0.976009 NaN NaN

30 NaN NaN 0.964195 0.985642 NaN NaN

31 NaN NaN 0.964626 0.985551 NaN NaN

32 NaN NaN 0.96424 0.985187 NaN NaN

33 NaN NaN 0.961469 0.980825 NaN NaN

34 NaN NaN 0.964967 0.985369 NaN NaN

35 NaN NaN 0.970306 0.98655 NaN NaN

36 NaN NaN 0.967489 0.978281 NaN NaN

37 NaN NaN 0.972146 0.987913 NaN NaN

38 NaN NaN 0.968284 0.985642 NaN NaN

39 NaN NaN 0.966898 0.987005 NaN NaN

evaluating on test set...

Accuracy on test images: 0.921120

epoch 29 accuracy on test set is: 0.9211195928753181

evaluating on test set takes 16 seconds.

shallow_train shallow_test scratch_train scratch_test deep_train deep_test

0 0.849396 0.875682 0.277854 0.251999 NaN NaN

1 0.868889 0.891948 0.473737 0.542803 NaN NaN

2 0.877249 0.90976 0.651877 0.724555 NaN NaN

3 0.883224 0.89522 0.742321 0.83197 NaN NaN

4 0.883679 0.908033 0.776081 0.848419 NaN NaN

5 0.894311 0.913304 0.830153 0.892857 NaN NaN

6 0.897492 0.917212 0.839399 0.894039 NaN NaN

7 0.88979 0.907306 0.869706 0.914304 NaN NaN

8 0.889427 0.907034 0.882656 0.925391 NaN NaN

9 0.890722 0.906307 0.903194 0.951018 NaN NaN

10 0.896924 0.902308 0.910305 0.941567 NaN NaN

11 0.884996 0.895856 0.919257 0.959833 NaN NaN

12 0.898628 0.925754 0.923687 0.96365 NaN NaN

13 0.901808 0.914667 0.934115 0.961923 NaN NaN

14 0.896356 0.921756 0.928253 0.96365 NaN NaN

15 0.903694 0.921392 0.936796 0.96574 NaN NaN

16 0.903967 0.917121 0.942794 0.970102 NaN NaN

17 0.899696 0.916303 0.944089 0.969829 NaN NaN

18 0.900695 0.923391 0.94293 0.972465 NaN NaN

19 0.903512 0.913577 0.949041 0.973646 NaN NaN

20 0.900127 0.922483 0.949677 0.973101 NaN NaN

21 0.895265 0.915485 0.935751 0.955107 NaN NaN

22 0.90274 0.92012 0.952449 0.973646 NaN NaN

23 0.904966 0.917757 0.953085 0.97619 NaN NaN

24 0.905852 0.929844 0.958879 0.979916 NaN NaN

25 0.898878 0.91285 0.959333 0.980189 NaN NaN

26 0.906761 0.915394 0.960492 0.977463 NaN NaN

27 0.904444 0.911759 0.966058 0.984824 NaN NaN

28 0.905103 0.922846 0.957425 0.976372 NaN NaN

29 0.908806 0.92112 0.959606 0.976009 NaN NaN

30 NaN NaN 0.964195 0.985642 NaN NaN

31 NaN NaN 0.964626 0.985551 NaN NaN

32 NaN NaN 0.96424 0.985187 NaN NaN

33 NaN NaN 0.961469 0.980825 NaN NaN

34 NaN NaN 0.964967 0.985369 NaN NaN

35 NaN NaN 0.970306 0.98655 NaN NaN

36 NaN NaN 0.967489 0.978281 NaN NaN

37 NaN NaN 0.972146 0.987913 NaN NaN

38 NaN NaN 0.968284 0.985642 NaN NaN

39 NaN NaN 0.966898 0.987005 NaN NaN

epoch 29 takes 149 seconds.

[31, 30] loss: 0.397

[31, 60] loss: 0.557

[31, 90] loss: 0.624

[31, 120] loss: 0.532

[31, 150] loss: 0.469

[31, 180] loss: 0.497

[31, 210] loss: 0.573

[31, 240] loss: 0.487

[31, 270] loss: 0.533

[31, 300] loss: 0.497

[31, 330] loss: 0.506

[31, 360] loss: 0.492

[31, 390] loss: 0.371

[31, 420] loss: 0.534

[31, 450] loss: 0.463

[31, 480] loss: 0.479

[31, 510] loss: 0.456

[31, 540] loss: 0.523

[31, 570] loss: 0.412

[31, 600] loss: 0.499

[31, 630] loss: 0.432

[31, 660] loss: 0.509

[31, 690] loss: 0.468

[31, 720] loss: 0.537

[31, 750] loss: 0.529

[31, 780] loss: 0.506

[31, 810] loss: 0.492

[31, 840] loss: 0.367

[31, 870] loss: 0.455

[31, 900] loss: 0.420

[31, 930] loss: 0.494

[31, 960] loss: 0.473

[31, 990] loss: 0.497

[31, 1020] loss: 0.475

[31, 1050] loss: 0.431

[31, 1080] loss: 0.426

[31, 1110] loss: 0.451

[31, 1140] loss: 0.565

[31, 1170] loss: 0.411

[31, 1200] loss: 0.476

[31, 1230] loss: 0.406

[31, 1260] loss: 0.545

[31, 1290] loss: 0.505

[31, 1320] loss: 0.516

[31, 1350] loss: 0.442

[31, 1380] loss: 0.534

[31, 1410] loss: 0.496

[31, 1440] loss: 0.452

[31, 1470] loss: 0.490

[31, 1500] loss: 0.467

[31, 1530] loss: 0.461

[31, 1560] loss: 0.471

[31, 1590] loss: 0.483

[31, 1620] loss: 0.458

[31, 1650] loss: 0.503

[31, 1680] loss: 0.466

[31, 1710] loss: 0.478

[31, 1740] loss: 0.469

[31, 1770] loss: 0.509

[31, 1800] loss: 0.528

[31, 1830] loss: 0.445

[31, 1860] loss: 0.497

[31, 1890] loss: 0.541

[31, 1920] loss: 0.478

[31, 1950] loss: 0.531

[31, 1980] loss: 0.435

[31, 2010] loss: 0.514

[31, 2040] loss: 0.497

[31, 2070] loss: 0.520

[31, 2100] loss: 0.461

[31, 2130] loss: 0.433

[31, 2160] loss: 0.465

[31, 2190] loss: 0.520

ovft_intermediate_models/epoch30_shallow.pt saved.


evaluating on training set...

Accuracy on test images: 0.907874

epoch 30 accuracy on train set is: 0.9078744093057071

evaluating on training set takes 64 seconds.

shallow_train shallow_test scratch_train scratch_test deep_train deep_test

0 0.849396 0.875682 0.277854 0.251999 NaN NaN

1 0.868889 0.891948 0.473737 0.542803 NaN NaN

2 0.877249 0.90976 0.651877 0.724555 NaN NaN

3 0.883224 0.89522 0.742321 0.83197 NaN NaN

4 0.883679 0.908033 0.776081 0.848419 NaN NaN

5 0.894311 0.913304 0.830153 0.892857 NaN NaN

6 0.897492 0.917212 0.839399 0.894039 NaN NaN

7 0.88979 0.907306 0.869706 0.914304 NaN NaN

8 0.889427 0.907034 0.882656 0.925391 NaN NaN

9 0.890722 0.906307 0.903194 0.951018 NaN NaN

10 0.896924 0.902308 0.910305 0.941567 NaN NaN

11 0.884996 0.895856 0.919257 0.959833 NaN NaN

12 0.898628 0.925754 0.923687 0.96365 NaN NaN

13 0.901808 0.914667 0.934115 0.961923 NaN NaN

14 0.896356 0.921756 0.928253 0.96365 NaN NaN

15 0.903694 0.921392 0.936796 0.96574 NaN NaN

16 0.903967 0.917121 0.942794 0.970102 NaN NaN

17 0.899696 0.916303 0.944089 0.969829 NaN NaN

18 0.900695 0.923391 0.94293 0.972465 NaN NaN

19 0.903512 0.913577 0.949041 0.973646 NaN NaN

20 0.900127 0.922483 0.949677 0.973101 NaN NaN

21 0.895265 0.915485 0.935751 0.955107 NaN NaN

22 0.90274 0.92012 0.952449 0.973646 NaN NaN

23 0.904966 0.917757 0.953085 0.97619 NaN NaN

24 0.905852 0.929844 0.958879 0.979916 NaN NaN

25 0.898878 0.91285 0.959333 0.980189 NaN NaN

26 0.906761 0.915394 0.960492 0.977463 NaN NaN

27 0.904444 0.911759 0.966058 0.984824 NaN NaN

28 0.905103 0.922846 0.957425 0.976372 NaN NaN

29 0.908806 0.92112 0.959606 0.976009 NaN NaN

30 0.907874 NaN 0.964195 0.985642 NaN NaN

31 NaN NaN 0.964626 0.985551 NaN NaN

32 NaN NaN 0.96424 0.985187 NaN NaN

33 NaN NaN 0.961469 0.980825 NaN NaN

34 NaN NaN 0.964967 0.985369 NaN NaN

35 NaN NaN 0.970306 0.98655 NaN NaN

36 NaN NaN 0.967489 0.978281 NaN NaN

37 NaN NaN 0.972146 0.987913 NaN NaN

38 NaN NaN 0.968284 0.985642 NaN NaN

39 NaN NaN 0.966898 0.987005 NaN NaN

evaluating on test set...

Accuracy on test images: 0.914213

epoch 30 accuracy on test set is: 0.9142130134496547

evaluating on test set takes 16 seconds.

shallow_train shallow_test scratch_train scratch_test deep_train deep_test

0 0.849396 0.875682 0.277854 0.251999 NaN NaN

1 0.868889 0.891948 0.473737 0.542803 NaN NaN

2 0.877249 0.90976 0.651877 0.724555 NaN NaN

3 0.883224 0.89522 0.742321 0.83197 NaN NaN

4 0.883679 0.908033 0.776081 0.848419 NaN NaN

5 0.894311 0.913304 0.830153 0.892857 NaN NaN

6 0.897492 0.917212 0.839399 0.894039 NaN NaN

7 0.88979 0.907306 0.869706 0.914304 NaN NaN

8 0.889427 0.907034 0.882656 0.925391 NaN NaN

9 0.890722 0.906307 0.903194 0.951018 NaN NaN

10 0.896924 0.902308 0.910305 0.941567 NaN NaN

11 0.884996 0.895856 0.919257 0.959833 NaN NaN

12 0.898628 0.925754 0.923687 0.96365 NaN NaN

13 0.901808 0.914667 0.934115 0.961923 NaN NaN

14 0.896356 0.921756 0.928253 0.96365 NaN NaN

15 0.903694 0.921392 0.936796 0.96574 NaN NaN

16 0.903967 0.917121 0.942794 0.970102 NaN NaN

17 0.899696 0.916303 0.944089 0.969829 NaN NaN

18 0.900695 0.923391 0.94293 0.972465 NaN NaN

19 0.903512 0.913577 0.949041 0.973646 NaN NaN

20 0.900127 0.922483 0.949677 0.973101 NaN NaN

21 0.895265 0.915485 0.935751 0.955107 NaN NaN

22 0.90274 0.92012 0.952449 0.973646 NaN NaN

23 0.904966 0.917757 0.953085 0.97619 NaN NaN

24 0.905852 0.929844 0.958879 0.979916 NaN NaN

25 0.898878 0.91285 0.959333 0.980189 NaN NaN

26 0.906761 0.915394 0.960492 0.977463 NaN NaN

27 0.904444 0.911759 0.966058 0.984824 NaN NaN

28 0.905103 0.922846 0.957425 0.976372 NaN NaN

29 0.908806 0.92112 0.959606 0.976009 NaN NaN

30 0.907874 0.914213 0.964195 0.985642 NaN NaN

31 NaN NaN 0.964626 0.985551 NaN NaN

32 NaN NaN 0.96424 0.985187 NaN NaN

33 NaN NaN 0.961469 0.980825 NaN NaN

34 NaN NaN 0.964967 0.985369 NaN NaN

35 NaN NaN 0.970306 0.98655 NaN NaN

36 NaN NaN 0.967489 0.978281 NaN NaN

37 NaN NaN 0.972146 0.987913 NaN NaN

38 NaN NaN 0.968284 0.985642 NaN NaN

39 NaN NaN 0.966898 0.987005 NaN NaN

epoch 30 takes 148 seconds.

[32, 30] loss: 0.535

[32, 60] loss: 0.517

[32, 90] loss: 0.461

[32, 120] loss: 0.511

[32, 150] loss: 0.454

[32, 180] loss: 0.411

[32, 210] loss: 0.378

[32, 240] loss: 0.478

[32, 270] loss: 0.462

[32, 300] loss: 0.461

[32, 330] loss: 0.462

[32, 360] loss: 0.369

[32, 390] loss: 0.428

[32, 420] loss: 0.480

[32, 450] loss: 0.458

[32, 480] loss: 0.421

[32, 510] loss: 0.500

[32, 540] loss: 0.568

[32, 570] loss: 0.485

[32, 600] loss: 0.597

[32, 630] loss: 0.438

[32, 660] loss: 0.581

[32, 690] loss: 0.438

[32, 720] loss: 0.566

[32, 750] loss: 0.427

[32, 780] loss: 0.488

[32, 810] loss: 0.539

[32, 840] loss: 0.404

[32, 870] loss: 0.441

[32, 900] loss: 0.498

[32, 930] loss: 0.488

[32, 960] loss: 0.527

[32, 990] loss: 0.424

[32, 1020] loss: 0.457

[32, 1050] loss: 0.392

[32, 1080] loss: 0.488

[32, 1110] loss: 0.581

[32, 1140] loss: 0.495

[32, 1170] loss: 0.482

[32, 1200] loss: 0.527

[32, 1230] loss: 0.507

[32, 1260] loss: 0.432

[32, 1290] loss: 0.452

[32, 1320] loss: 0.461

[32, 1350] loss: 0.515

[32, 1380] loss: 0.549

[32, 1410] loss: 0.452

[32, 1440] loss: 0.371

[32, 1470] loss: 0.478

[32, 1500] loss: 0.464

[32, 1530] loss: 0.558

[32, 1560] loss: 0.420

[32, 1590] loss: 0.516

[32, 1620] loss: 0.475

[32, 1650] loss: 0.496

[32, 1680] loss: 0.432

[32, 1710] loss: 0.556

[32, 1740] loss: 0.643

[32, 1770] loss: 0.520

[32, 1800] loss: 0.412

[32, 1830] loss: 0.476

[32, 1860] loss: 0.425

[32, 1890] loss: 0.458

[32, 1920] loss: 0.477

[32, 1950] loss: 0.424

[32, 1980] loss: 0.341

[32, 2010] loss: 0.421

[32, 2040] loss: 0.489

[32, 2070] loss: 0.488

[32, 2100] loss: 0.484

[32, 2130] loss: 0.567

[32, 2160] loss: 0.475

[32, 2190] loss: 0.475

ovft_intermediate_models/epoch31_shallow.pt saved.


evaluating on training set...

Accuracy on test images: 0.899014

epoch 31 accuracy on train set is: 0.8990139949109415

evaluating on training set takes 64 seconds.

shallow_train shallow_test scratch_train scratch_test deep_train deep_test

0 0.849396 0.875682 0.277854 0.251999 NaN NaN

1 0.868889 0.891948 0.473737 0.542803 NaN NaN

2 0.877249 0.90976 0.651877 0.724555 NaN NaN

3 0.883224 0.89522 0.742321 0.83197 NaN NaN

4 0.883679 0.908033 0.776081 0.848419 NaN NaN

5 0.894311 0.913304 0.830153 0.892857 NaN NaN

6 0.897492 0.917212 0.839399 0.894039 NaN NaN

7 0.88979 0.907306 0.869706 0.914304 NaN NaN

8 0.889427 0.907034 0.882656 0.925391 NaN NaN

9 0.890722 0.906307 0.903194 0.951018 NaN NaN

10 0.896924 0.902308 0.910305 0.941567 NaN NaN

11 0.884996 0.895856 0.919257 0.959833 NaN NaN

12 0.898628 0.925754 0.923687 0.96365 NaN NaN

13 0.901808 0.914667 0.934115 0.961923 NaN NaN

14 0.896356 0.921756 0.928253 0.96365 NaN NaN

15 0.903694 0.921392 0.936796 0.96574 NaN NaN

16 0.903967 0.917121 0.942794 0.970102 NaN NaN

17 0.899696 0.916303 0.944089 0.969829 NaN NaN

18 0.900695 0.923391 0.94293 0.972465 NaN NaN

19 0.903512 0.913577 0.949041 0.973646 NaN NaN

20 0.900127 0.922483 0.949677 0.973101 NaN NaN

21 0.895265 0.915485 0.935751 0.955107 NaN NaN

22 0.90274 0.92012 0.952449 0.973646 NaN NaN

23 0.904966 0.917757 0.953085 0.97619 NaN NaN

24 0.905852 0.929844 0.958879 0.979916 NaN NaN

25 0.898878 0.91285 0.959333 0.980189 NaN NaN

26 0.906761 0.915394 0.960492 0.977463 NaN NaN

27 0.904444 0.911759 0.966058 0.984824 NaN NaN

28 0.905103 0.922846 0.957425 0.976372 NaN NaN

29 0.908806 0.92112 0.959606 0.976009 NaN NaN

30 0.907874 0.914213 0.964195 0.985642 NaN NaN

31 0.899014 NaN 0.964626 0.985551 NaN NaN

32 NaN NaN 0.96424 0.985187 NaN NaN

33 NaN NaN 0.961469 0.980825 NaN NaN

34 NaN NaN 0.964967 0.985369 NaN NaN

35 NaN NaN 0.970306 0.98655 NaN NaN

36 NaN NaN 0.967489 0.978281 NaN NaN

37 NaN NaN 0.972146 0.987913 NaN NaN

38 NaN NaN 0.968284 0.985642 NaN NaN

39 NaN NaN 0.966898 0.987005 NaN NaN

evaluating on test set...

Accuracy on test images: 0.901763

epoch 31 accuracy on test set is: 0.9017629952744457

evaluating on test set takes 16 seconds.

shallow_train shallow_test scratch_train scratch_test deep_train deep_test

0 0.849396 0.875682 0.277854 0.251999 NaN NaN

1 0.868889 0.891948 0.473737 0.542803 NaN NaN

2 0.877249 0.90976 0.651877 0.724555 NaN NaN

3 0.883224 0.89522 0.742321 0.83197 NaN NaN

4 0.883679 0.908033 0.776081 0.848419 NaN NaN

5 0.894311 0.913304 0.830153 0.892857 NaN NaN

6 0.897492 0.917212 0.839399 0.894039 NaN NaN

7 0.88979 0.907306 0.869706 0.914304 NaN NaN

8 0.889427 0.907034 0.882656 0.925391 NaN NaN

9 0.890722 0.906307 0.903194 0.951018 NaN NaN

10 0.896924 0.902308 0.910305 0.941567 NaN NaN

11 0.884996 0.895856 0.919257 0.959833 NaN NaN

12 0.898628 0.925754 0.923687 0.96365 NaN NaN

13 0.901808 0.914667 0.934115 0.961923 NaN NaN

14 0.896356 0.921756 0.928253 0.96365 NaN NaN

15 0.903694 0.921392 0.936796 0.96574 NaN NaN

16 0.903967 0.917121 0.942794 0.970102 NaN NaN

17 0.899696 0.916303 0.944089 0.969829 NaN NaN

18 0.900695 0.923391 0.94293 0.972465 NaN NaN

19 0.903512 0.913577 0.949041 0.973646 NaN NaN

20 0.900127 0.922483 0.949677 0.973101 NaN NaN

21 0.895265 0.915485 0.935751 0.955107 NaN NaN

22 0.90274 0.92012 0.952449 0.973646 NaN NaN

23 0.904966 0.917757 0.953085 0.97619 NaN NaN

24 0.905852 0.929844 0.958879 0.979916 NaN NaN

25 0.898878 0.91285 0.959333 0.980189 NaN NaN

26 0.906761 0.915394 0.960492 0.977463 NaN NaN

27 0.904444 0.911759 0.966058 0.984824 NaN NaN

28 0.905103 0.922846 0.957425 0.976372 NaN NaN

29 0.908806 0.92112 0.959606 0.976009 NaN NaN

30 0.907874 0.914213 0.964195 0.985642 NaN NaN

31 0.899014 0.901763 0.964626 0.985551 NaN NaN

32 NaN NaN 0.96424 0.985187 NaN NaN

33 NaN NaN 0.961469 0.980825 NaN NaN

34 NaN NaN 0.964967 0.985369 NaN NaN

35 NaN NaN 0.970306 0.98655 NaN NaN

36 NaN NaN 0.967489 0.978281 NaN NaN

37 NaN NaN 0.972146 0.987913 NaN NaN

38 NaN NaN 0.968284 0.985642 NaN NaN

39 NaN NaN 0.966898 0.987005 NaN NaN

epoch 31 takes 149 seconds.

[33, 30] loss: 0.484

[33, 60] loss: 0.423

[33, 90] loss: 0.507

[33, 120] loss: 0.417

[33, 150] loss: 0.575

[33, 180] loss: 0.453

[33, 210] loss: 0.547

[33, 240] loss: 0.524

[33, 270] loss: 0.457

[33, 300] loss: 0.460

[33, 330] loss: 0.422

[33, 360] loss: 0.425

[33, 390] loss: 0.456

[33, 420] loss: 0.418

[33, 450] loss: 0.490

[33, 480] loss: 0.494

[33, 510] loss: 0.551

[33, 540] loss: 0.467

[33, 570] loss: 0.495

[33, 600] loss: 0.447

[33, 630] loss: 0.458

[33, 660] loss: 0.435

[33, 690] loss: 0.468

[33, 720] loss: 0.495

[33, 750] loss: 0.544

[33, 780] loss: 0.439

[33, 810] loss: 0.431

[33, 840] loss: 0.518

[33, 870] loss: 0.567

[33, 900] loss: 0.434

[33, 930] loss: 0.419

[33, 960] loss: 0.480

[33, 990] loss: 0.525

[33, 1020] loss: 0.578

[33, 1050] loss: 0.492

[33, 1080] loss: 0.415

[33, 1110] loss: 0.431

[33, 1140] loss: 0.577

[33, 1170] loss: 0.490

[33, 1200] loss: 0.529

[33, 1230] loss: 0.561

[33, 1260] loss: 0.515

[33, 1290] loss: 0.526

[33, 1320] loss: 0.438

[33, 1350] loss: 0.531

[33, 1380] loss: 0.472

[33, 1410] loss: 0.456

[33, 1440] loss: 0.492

[33, 1470] loss: 0.524

[33, 1500] loss: 0.475

[33, 1530] loss: 0.518

[33, 1560] loss: 0.434

[33, 1590] loss: 0.434

[33, 1620] loss: 0.526

[33, 1650] loss: 0.466

[33, 1680] loss: 0.524

[33, 1710] loss: 0.433

[33, 1740] loss: 0.464

[33, 1770] loss: 0.475

[33, 1800] loss: 0.474

[33, 1830] loss: 0.388

[33, 1860] loss: 0.369

[33, 1890] loss: 0.486

[33, 1920] loss: 0.358

[33, 1950] loss: 0.440

[33, 1980] loss: 0.411

[33, 2010] loss: 0.389

[33, 2040] loss: 0.450

[33, 2070] loss: 0.511

[33, 2100] loss: 0.432

[33, 2130] loss: 0.468

[33, 2160] loss: 0.512

[33, 2190] loss: 0.566

ovft_intermediate_models/epoch32_shallow.pt saved.


evaluating on training set...

Accuracy on test images: 0.910555

epoch 32 accuracy on train set is: 0.9105552526354053

evaluating on training set takes 65 seconds.

shallow_train shallow_test scratch_train scratch_test deep_train deep_test

0 0.849396 0.875682 0.277854 0.251999 NaN NaN

1 0.868889 0.891948 0.473737 0.542803 NaN NaN

2 0.877249 0.90976 0.651877 0.724555 NaN NaN

3 0.883224 0.89522 0.742321 0.83197 NaN NaN

4 0.883679 0.908033 0.776081 0.848419 NaN NaN

5 0.894311 0.913304 0.830153 0.892857 NaN NaN

6 0.897492 0.917212 0.839399 0.894039 NaN NaN

7 0.88979 0.907306 0.869706 0.914304 NaN NaN

8 0.889427 0.907034 0.882656 0.925391 NaN NaN

9 0.890722 0.906307 0.903194 0.951018 NaN NaN

10 0.896924 0.902308 0.910305 0.941567 NaN NaN

11 0.884996 0.895856 0.919257 0.959833 NaN NaN

12 0.898628 0.925754 0.923687 0.96365 NaN NaN

13 0.901808 0.914667 0.934115 0.961923 NaN NaN

14 0.896356 0.921756 0.928253 0.96365 NaN NaN

15 0.903694 0.921392 0.936796 0.96574 NaN NaN

16 0.903967 0.917121 0.942794 0.970102 NaN NaN

17 0.899696 0.916303 0.944089 0.969829 NaN NaN

18 0.900695 0.923391 0.94293 0.972465 NaN NaN

19 0.903512 0.913577 0.949041 0.973646 NaN NaN

20 0.900127 0.922483 0.949677 0.973101 NaN NaN

21 0.895265 0.915485 0.935751 0.955107 NaN NaN

22 0.90274 0.92012 0.952449 0.973646 NaN NaN

23 0.904966 0.917757 0.953085 0.97619 NaN NaN

24 0.905852 0.929844 0.958879 0.979916 NaN NaN

25 0.898878 0.91285 0.959333 0.980189 NaN NaN

26 0.906761 0.915394 0.960492 0.977463 NaN NaN

27 0.904444 0.911759 0.966058 0.984824 NaN NaN

28 0.905103 0.922846 0.957425 0.976372 NaN NaN

29 0.908806 0.92112 0.959606 0.976009 NaN NaN

30 0.907874 0.914213 0.964195 0.985642 NaN NaN

31 0.899014 0.901763 0.964626 0.985551 NaN NaN

32 0.910555 NaN 0.96424 0.985187 NaN NaN

33 NaN NaN 0.961469 0.980825 NaN NaN

34 NaN NaN 0.964967 0.985369 NaN NaN

35 NaN NaN 0.970306 0.98655 NaN NaN

36 NaN NaN 0.967489 0.978281 NaN NaN

37 NaN NaN 0.972146 0.987913 NaN NaN

38 NaN NaN 0.968284 0.985642 NaN NaN

39 NaN NaN 0.966898 0.987005 NaN NaN

evaluating on test set...

Accuracy on test images: 0.930298

epoch 32 accuracy on test set is: 0.9302980734278444

evaluating on test set takes 16 seconds.

shallow_train shallow_test scratch_train scratch_test deep_train deep_test

0 0.849396 0.875682 0.277854 0.251999 NaN NaN

1 0.868889 0.891948 0.473737 0.542803 NaN NaN

2 0.877249 0.90976 0.651877 0.724555 NaN NaN

3 0.883224 0.89522 0.742321 0.83197 NaN NaN

4 0.883679 0.908033 0.776081 0.848419 NaN NaN

5 0.894311 0.913304 0.830153 0.892857 NaN NaN

6 0.897492 0.917212 0.839399 0.894039 NaN NaN

7 0.88979 0.907306 0.869706 0.914304 NaN NaN

8 0.889427 0.907034 0.882656 0.925391 NaN NaN

9 0.890722 0.906307 0.903194 0.951018 NaN NaN

10 0.896924 0.902308 0.910305 0.941567 NaN NaN

11 0.884996 0.895856 0.919257 0.959833 NaN NaN

12 0.898628 0.925754 0.923687 0.96365 NaN NaN

13 0.901808 0.914667 0.934115 0.961923 NaN NaN

14 0.896356 0.921756 0.928253 0.96365 NaN NaN

15 0.903694 0.921392 0.936796 0.96574 NaN NaN

16 0.903967 0.917121 0.942794 0.970102 NaN NaN

17 0.899696 0.916303 0.944089 0.969829 NaN NaN

18 0.900695 0.923391 0.94293 0.972465 NaN NaN

19 0.903512 0.913577 0.949041 0.973646 NaN NaN

20 0.900127 0.922483 0.949677 0.973101 NaN NaN

21 0.895265 0.915485 0.935751 0.955107 NaN NaN

22 0.90274 0.92012 0.952449 0.973646 NaN NaN

23 0.904966 0.917757 0.953085 0.97619 NaN NaN

24 0.905852 0.929844 0.958879 0.979916 NaN NaN

25 0.898878 0.91285 0.959333 0.980189 NaN NaN

26 0.906761 0.915394 0.960492 0.977463 NaN NaN

27 0.904444 0.911759 0.966058 0.984824 NaN NaN

28 0.905103 0.922846 0.957425 0.976372 NaN NaN

29 0.908806 0.92112 0.959606 0.976009 NaN NaN

30 0.907874 0.914213 0.964195 0.985642 NaN NaN

31 0.899014 0.901763 0.964626 0.985551 NaN NaN

32 0.910555 0.930298 0.96424 0.985187 NaN NaN

33 NaN NaN 0.961469 0.980825 NaN NaN

34 NaN NaN 0.964967 0.985369 NaN NaN

35 NaN NaN 0.970306 0.98655 NaN NaN

36 NaN NaN 0.967489 0.978281 NaN NaN

37 NaN NaN 0.972146 0.987913 NaN NaN

38 NaN NaN 0.968284 0.985642 NaN NaN

39 NaN NaN 0.966898 0.987005 NaN NaN

epoch 32 takes 150 seconds.

[34, 30] loss: 0.518

[34, 60] loss: 0.509

[34, 90] loss: 0.476

[34, 120] loss: 0.427

[34, 150] loss: 0.467

[34, 180] loss: 0.498

[34, 210] loss: 0.442

[34, 240] loss: 0.530

[34, 270] loss: 0.542

[34, 300] loss: 0.506

[34, 330] loss: 0.405

[34, 360] loss: 0.515

[34, 390] loss: 0.514

[34, 420] loss: 0.565

[34, 450] loss: 0.480

[34, 480] loss: 0.396

[34, 510] loss: 0.474

[34, 540] loss: 0.476

[34, 570] loss: 0.430

[34, 600] loss: 0.469

[34, 630] loss: 0.437

[34, 660] loss: 0.428

[34, 690] loss: 0.452

[34, 720] loss: 0.414

[34, 750] loss: 0.376

[34, 780] loss: 0.514

[34, 810] loss: 0.490

[34, 840] loss: 0.504

[34, 870] loss: 0.431

[34, 900] loss: 0.502

[34, 930] loss: 0.396

[34, 960] loss: 0.552

[34, 990] loss: 0.571

[34, 1020] loss: 0.441

[34, 1050] loss: 0.544

[34, 1080] loss: 0.528

[34, 1110] loss: 0.475

[34, 1140] loss: 0.429

[34, 1170] loss: 0.497

[34, 1200] loss: 0.490

[34, 1230] loss: 0.496

[34, 1260] loss: 0.524

[34, 1290] loss: 0.475

[34, 1320] loss: 0.409

[34, 1350] loss: 0.537

[34, 1380] loss: 0.452

[34, 1410] loss: 0.439

[34, 1440] loss: 0.476

[34, 1470] loss: 0.549

[34, 1500] loss: 0.532

[34, 1530] loss: 0.391

[34, 1560] loss: 0.512

[34, 1590] loss: 0.414

[34, 1620] loss: 0.397

[34, 1650] loss: 0.429

[34, 1680] loss: 0.409

[34, 1710] loss: 0.410

[34, 1740] loss: 0.476

[34, 1770] loss: 0.590

[34, 1800] loss: 0.510

[34, 1830] loss: 0.460

[34, 1860] loss: 0.452

[34, 1890] loss: 0.411

[34, 1920] loss: 0.537

[34, 1950] loss: 0.610

[34, 1980] loss: 0.497

[34, 2010] loss: 0.453

[34, 2040] loss: 0.441

[34, 2070] loss: 0.388

[34, 2100] loss: 0.430

[34, 2130] loss: 0.395

[34, 2160] loss: 0.414

[34, 2190] loss: 0.425

ovft_intermediate_models/epoch33_shallow.pt saved.


evaluating on training set...

Accuracy on test images: 0.910782

epoch 33 accuracy on train set is: 0.9107824427480916

evaluating on training set takes 64 seconds.

shallow_train shallow_test scratch_train scratch_test deep_train deep_test

0 0.849396 0.875682 0.277854 0.251999 NaN NaN

1 0.868889 0.891948 0.473737 0.542803 NaN NaN

2 0.877249 0.90976 0.651877 0.724555 NaN NaN

3 0.883224 0.89522 0.742321 0.83197 NaN NaN

4 0.883679 0.908033 0.776081 0.848419 NaN NaN

5 0.894311 0.913304 0.830153 0.892857 NaN NaN

6 0.897492 0.917212 0.839399 0.894039 NaN NaN

7 0.88979 0.907306 0.869706 0.914304 NaN NaN

8 0.889427 0.907034 0.882656 0.925391 NaN NaN

9 0.890722 0.906307 0.903194 0.951018 NaN NaN

10 0.896924 0.902308 0.910305 0.941567 NaN NaN

11 0.884996 0.895856 0.919257 0.959833 NaN NaN

12 0.898628 0.925754 0.923687 0.96365 NaN NaN

13 0.901808 0.914667 0.934115 0.961923 NaN NaN

14 0.896356 0.921756 0.928253 0.96365 NaN NaN

15 0.903694 0.921392 0.936796 0.96574 NaN NaN

16 0.903967 0.917121 0.942794 0.970102 NaN NaN

17 0.899696 0.916303 0.944089 0.969829 NaN NaN

18 0.900695 0.923391 0.94293 0.972465 NaN NaN

19 0.903512 0.913577 0.949041 0.973646 NaN NaN

20 0.900127 0.922483 0.949677 0.973101 NaN NaN

21 0.895265 0.915485 0.935751 0.955107 NaN NaN

22 0.90274 0.92012 0.952449 0.973646 NaN NaN

23 0.904966 0.917757 0.953085 0.97619 NaN NaN

24 0.905852 0.929844 0.958879 0.979916 NaN NaN

25 0.898878 0.91285 0.959333 0.980189 NaN NaN

26 0.906761 0.915394 0.960492 0.977463 NaN NaN

27 0.904444 0.911759 0.966058 0.984824 NaN NaN

28 0.905103 0.922846 0.957425 0.976372 NaN NaN

29 0.908806 0.92112 0.959606 0.976009 NaN NaN

30 0.907874 0.914213 0.964195 0.985642 NaN NaN

31 0.899014 0.901763 0.964626 0.985551 NaN NaN

32 0.910555 0.930298 0.96424 0.985187 NaN NaN

33 0.910782 NaN 0.961469 0.980825 NaN NaN

34 NaN NaN 0.964967 0.985369 NaN NaN

35 NaN NaN 0.970306 0.98655 NaN NaN

36 NaN NaN 0.967489 0.978281 NaN NaN

37 NaN NaN 0.972146 0.987913 NaN NaN

38 NaN NaN 0.968284 0.985642 NaN NaN

39 NaN NaN 0.966898 0.987005 NaN NaN

evaluating on test set...

Accuracy on test images: 0.917757

epoch 33 accuracy on test set is: 0.9177571792075608

evaluating on test set takes 16 seconds.

shallow_train shallow_test scratch_train scratch_test deep_train deep_test

0 0.849396 0.875682 0.277854 0.251999 NaN NaN

1 0.868889 0.891948 0.473737 0.542803 NaN NaN

2 0.877249 0.90976 0.651877 0.724555 NaN NaN

3 0.883224 0.89522 0.742321 0.83197 NaN NaN

4 0.883679 0.908033 0.776081 0.848419 NaN NaN

5 0.894311 0.913304 0.830153 0.892857 NaN NaN

6 0.897492 0.917212 0.839399 0.894039 NaN NaN

7 0.88979 0.907306 0.869706 0.914304 NaN NaN

8 0.889427 0.907034 0.882656 0.925391 NaN NaN

9 0.890722 0.906307 0.903194 0.951018 NaN NaN

10 0.896924 0.902308 0.910305 0.941567 NaN NaN

11 0.884996 0.895856 0.919257 0.959833 NaN NaN

12 0.898628 0.925754 0.923687 0.96365 NaN NaN

13 0.901808 0.914667 0.934115 0.961923 NaN NaN

14 0.896356 0.921756 0.928253 0.96365 NaN NaN

15 0.903694 0.921392 0.936796 0.96574 NaN NaN

16 0.903967 0.917121 0.942794 0.970102 NaN NaN

17 0.899696 0.916303 0.944089 0.969829 NaN NaN

18 0.900695 0.923391 0.94293 0.972465 NaN NaN

19 0.903512 0.913577 0.949041 0.973646 NaN NaN

20 0.900127 0.922483 0.949677 0.973101 NaN NaN

21 0.895265 0.915485 0.935751 0.955107 NaN NaN

22 0.90274 0.92012 0.952449 0.973646 NaN NaN

23 0.904966 0.917757 0.953085 0.97619 NaN NaN

24 0.905852 0.929844 0.958879 0.979916 NaN NaN

25 0.898878 0.91285 0.959333 0.980189 NaN NaN

26 0.906761 0.915394 0.960492 0.977463 NaN NaN

27 0.904444 0.911759 0.966058 0.984824 NaN NaN

28 0.905103 0.922846 0.957425 0.976372 NaN NaN

29 0.908806 0.92112 0.959606 0.976009 NaN NaN

30 0.907874 0.914213 0.964195 0.985642 NaN NaN

31 0.899014 0.901763 0.964626 0.985551 NaN NaN

32 0.910555 0.930298 0.96424 0.985187 NaN NaN

33 0.910782 0.917757 0.961469 0.980825 NaN NaN

34 NaN NaN 0.964967 0.985369 NaN NaN

35 NaN NaN 0.970306 0.98655 NaN NaN

36 NaN NaN 0.967489 0.978281 NaN NaN

37 NaN NaN 0.972146 0.987913 NaN NaN

38 NaN NaN 0.968284 0.985642 NaN NaN

39 NaN NaN 0.966898 0.987005 NaN NaN

epoch 33 takes 150 seconds.

[35, 30] loss: 0.458

[35, 60] loss: 0.459

[35, 90] loss: 0.521

[35, 120] loss: 0.457

[35, 150] loss: 0.437

[35, 180] loss: 0.444

[35, 210] loss: 0.455

[35, 240] loss: 0.474

[35, 270] loss: 0.528

[35, 300] loss: 0.470

[35, 330] loss: 0.491

[35, 360] loss: 0.478

[35, 390] loss: 0.508

[35, 420] loss: 0.486

[35, 450] loss: 0.396

[35, 480] loss: 0.424

[35, 510] loss: 0.507

[35, 540] loss: 0.529

[35, 570] loss: 0.441

[35, 600] loss: 0.437

[35, 630] loss: 0.455

[35, 660] loss: 0.546

[35, 690] loss: 0.457

[35, 720] loss: 0.489

[35, 750] loss: 0.463

[35, 780] loss: 0.489

[35, 810] loss: 0.480

[35, 840] loss: 0.467

[35, 870] loss: 0.503

[35, 900] loss: 0.544

[35, 930] loss: 0.477

[35, 960] loss: 0.464

[35, 990] loss: 0.520

[35, 1020] loss: 0.460

[35, 1050] loss: 0.519

[35, 1080] loss: 0.490

[35, 1110] loss: 0.552

[35, 1140] loss: 0.434

[35, 1170] loss: 0.480

[35, 1200] loss: 0.440

[35, 1230] loss: 0.434

[35, 1260] loss: 0.570

[35, 1290] loss: 0.488

[35, 1320] loss: 0.452

[35, 1350] loss: 0.499

[35, 1380] loss: 0.393

[35, 1410] loss: 0.528

[35, 1440] loss: 0.455

[35, 1470] loss: 0.502

[35, 1500] loss: 0.472

[35, 1530] loss: 0.418

[35, 1560] loss: 0.503

[35, 1590] loss: 0.462

[35, 1620] loss: 0.487

[35, 1650] loss: 0.493

[35, 1680] loss: 0.465

[35, 1710] loss: 0.557

[35, 1740] loss: 0.543

[35, 1770] loss: 0.430

[35, 1800] loss: 0.420

[35, 1830] loss: 0.487

[35, 1860] loss: 0.453

[35, 1890] loss: 0.468

[35, 1920] loss: 0.442

[35, 1950] loss: 0.428

[35, 1980] loss: 0.477

[35, 2010] loss: 0.411

[35, 2040] loss: 0.468

[35, 2070] loss: 0.439

[35, 2100] loss: 0.527

[35, 2130] loss: 0.457

[35, 2160] loss: 0.504

[35, 2190] loss: 0.416

ovft_intermediate_models/epoch34_shallow.pt saved.


evaluating on training set...

Accuracy on test images: 0.899900

epoch 34 accuracy on train set is: 0.899900036350418

evaluating on training set takes 64 seconds.

shallow_train shallow_test scratch_train scratch_test deep_train deep_test

0 0.849396 0.875682 0.277854 0.251999 NaN NaN

1 0.868889 0.891948 0.473737 0.542803 NaN NaN

2 0.877249 0.90976 0.651877 0.724555 NaN NaN

3 0.883224 0.89522 0.742321 0.83197 NaN NaN

4 0.883679 0.908033 0.776081 0.848419 NaN NaN

5 0.894311 0.913304 0.830153 0.892857 NaN NaN

6 0.897492 0.917212 0.839399 0.894039 NaN NaN

7 0.88979 0.907306 0.869706 0.914304 NaN NaN

8 0.889427 0.907034 0.882656 0.925391 NaN NaN

9 0.890722 0.906307 0.903194 0.951018 NaN NaN

10 0.896924 0.902308 0.910305 0.941567 NaN NaN

11 0.884996 0.895856 0.919257 0.959833 NaN NaN

12 0.898628 0.925754 0.923687 0.96365 NaN NaN

13 0.901808 0.914667 0.934115 0.961923 NaN NaN

14 0.896356 0.921756 0.928253 0.96365 NaN NaN

15 0.903694 0.921392 0.936796 0.96574 NaN NaN

16 0.903967 0.917121 0.942794 0.970102 NaN NaN

17 0.899696 0.916303 0.944089 0.969829 NaN NaN

18 0.900695 0.923391 0.94293 0.972465 NaN NaN

19 0.903512 0.913577 0.949041 0.973646 NaN NaN

20 0.900127 0.922483 0.949677 0.973101 NaN NaN

21 0.895265 0.915485 0.935751 0.955107 NaN NaN

22 0.90274 0.92012 0.952449 0.973646 NaN NaN

23 0.904966 0.917757 0.953085 0.97619 NaN NaN

24 0.905852 0.929844 0.958879 0.979916 NaN NaN

25 0.898878 0.91285 0.959333 0.980189 NaN NaN

26 0.906761 0.915394 0.960492 0.977463 NaN NaN

27 0.904444 0.911759 0.966058 0.984824 NaN NaN

28 0.905103 0.922846 0.957425 0.976372 NaN NaN

29 0.908806 0.92112 0.959606 0.976009 NaN NaN

30 0.907874 0.914213 0.964195 0.985642 NaN NaN

31 0.899014 0.901763 0.964626 0.985551 NaN NaN

32 0.910555 0.930298 0.96424 0.985187 NaN NaN

33 0.910782 0.917757 0.961469 0.980825 NaN NaN

34 0.8999 NaN 0.964967 0.985369 NaN NaN

35 NaN NaN 0.970306 0.98655 NaN NaN

36 NaN NaN 0.967489 0.978281 NaN NaN

37 NaN NaN 0.972146 0.987913 NaN NaN

38 NaN NaN 0.968284 0.985642 NaN NaN

39 NaN NaN 0.966898 0.987005 NaN NaN

evaluating on test set...

Accuracy on test images: 0.917666

epoch 34 accuracy on test set is: 0.9176663031624863

evaluating on test set takes 16 seconds.

shallow_train shallow_test scratch_train scratch_test deep_train deep_test

0 0.849396 0.875682 0.277854 0.251999 NaN NaN

1 0.868889 0.891948 0.473737 0.542803 NaN NaN

2 0.877249 0.90976 0.651877 0.724555 NaN NaN

3 0.883224 0.89522 0.742321 0.83197 NaN NaN

4 0.883679 0.908033 0.776081 0.848419 NaN NaN

5 0.894311 0.913304 0.830153 0.892857 NaN NaN

6 0.897492 0.917212 0.839399 0.894039 NaN NaN

7 0.88979 0.907306 0.869706 0.914304 NaN NaN

8 0.889427 0.907034 0.882656 0.925391 NaN NaN

9 0.890722 0.906307 0.903194 0.951018 NaN NaN

10 0.896924 0.902308 0.910305 0.941567 NaN NaN

11 0.884996 0.895856 0.919257 0.959833 NaN NaN

12 0.898628 0.925754 0.923687 0.96365 NaN NaN

13 0.901808 0.914667 0.934115 0.961923 NaN NaN

14 0.896356 0.921756 0.928253 0.96365 NaN NaN

15 0.903694 0.921392 0.936796 0.96574 NaN NaN

16 0.903967 0.917121 0.942794 0.970102 NaN NaN

17 0.899696 0.916303 0.944089 0.969829 NaN NaN

18 0.900695 0.923391 0.94293 0.972465 NaN NaN

19 0.903512 0.913577 0.949041 0.973646 NaN NaN

20 0.900127 0.922483 0.949677 0.973101 NaN NaN

21 0.895265 0.915485 0.935751 0.955107 NaN NaN

22 0.90274 0.92012 0.952449 0.973646 NaN NaN

23 0.904966 0.917757 0.953085 0.97619 NaN NaN

24 0.905852 0.929844 0.958879 0.979916 NaN NaN

25 0.898878 0.91285 0.959333 0.980189 NaN NaN

26 0.906761 0.915394 0.960492 0.977463 NaN NaN

27 0.904444 0.911759 0.966058 0.984824 NaN NaN

28 0.905103 0.922846 0.957425 0.976372 NaN NaN

29 0.908806 0.92112 0.959606 0.976009 NaN NaN

30 0.907874 0.914213 0.964195 0.985642 NaN NaN

31 0.899014 0.901763 0.964626 0.985551 NaN NaN

32 0.910555 0.930298 0.96424 0.985187 NaN NaN

33 0.910782 0.917757 0.961469 0.980825 NaN NaN

34 0.8999 0.917666 0.964967 0.985369 NaN NaN

35 NaN NaN 0.970306 0.98655 NaN NaN

36 NaN NaN 0.967489 0.978281 NaN NaN

37 NaN NaN 0.972146 0.987913 NaN NaN

38 NaN NaN 0.968284 0.985642 NaN NaN

39 NaN NaN 0.966898 0.987005 NaN NaN

epoch 34 takes 150 seconds.

[36, 30] loss: 0.466

[36, 60] loss: 0.554

[36, 90] loss: 0.466

[36, 120] loss: 0.505

[36, 150] loss: 0.441

[36, 180] loss: 0.474

[36, 210] loss: 0.396

[36, 240] loss: 0.525

[36, 270] loss: 0.477

[36, 300] loss: 0.386

[36, 330] loss: 0.490

[36, 360] loss: 0.506

[36, 390] loss: 0.442

[36, 420] loss: 0.477

[36, 450] loss: 0.501

[36, 480] loss: 0.491

[36, 510] loss: 0.441

[36, 540] loss: 0.507

[36, 570] loss: 0.514

[36, 600] loss: 0.459

[36, 630] loss: 0.504

[36, 660] loss: 0.448

[36, 690] loss: 0.462

[36, 720] loss: 0.550

[36, 750] loss: 0.510

[36, 780] loss: 0.492

[36, 810] loss: 0.465

[36, 840] loss: 0.492

[36, 870] loss: 0.560

[36, 900] loss: 0.413

[36, 930] loss: 0.441

[36, 960] loss: 0.391

[36, 990] loss: 0.557

[36, 1020] loss: 0.489

[36, 1050] loss: 0.501

[36, 1080] loss: 0.505

[36, 1110] loss: 0.390

[36, 1140] loss: 0.461

[36, 1170] loss: 0.451

[36, 1200] loss: 0.559

[36, 1230] loss: 0.500

[36, 1260] loss: 0.472

[36, 1290] loss: 0.453

[36, 1320] loss: 0.393

[36, 1350] loss: 0.501

[36, 1380] loss: 0.383

[36, 1410] loss: 0.524

[36, 1440] loss: 0.578

[36, 1470] loss: 0.380

[36, 1500] loss: 0.467

[36, 1530] loss: 0.452

[36, 1560] loss: 0.534

[36, 1590] loss: 0.471

[36, 1620] loss: 0.584

[36, 1650] loss: 0.557

[36, 1680] loss: 0.458

[36, 1710] loss: 0.420

[36, 1740] loss: 0.467

[36, 1770] loss: 0.501

[36, 1800] loss: 0.483

[36, 1830] loss: 0.466

[36, 1860] loss: 0.545

[36, 1890] loss: 0.437

[36, 1920] loss: 0.423

[36, 1950] loss: 0.519

[36, 1980] loss: 0.462

[36, 2010] loss: 0.482

[36, 2040] loss: 0.450

[36, 2070] loss: 0.434

[36, 2100] loss: 0.477

[36, 2130] loss: 0.508

[36, 2160] loss: 0.422

[36, 2190] loss: 0.479

ovft_intermediate_models/epoch35_shallow.pt saved.


evaluating on training set...

Accuracy on test images: 0.899855

epoch 35 accuracy on train set is: 0.8998545983278807

evaluating on training set takes 64 seconds.

shallow_train shallow_test scratch_train scratch_test deep_train deep_test

0 0.849396 0.875682 0.277854 0.251999 NaN NaN

1 0.868889 0.891948 0.473737 0.542803 NaN NaN

2 0.877249 0.90976 0.651877 0.724555 NaN NaN

3 0.883224 0.89522 0.742321 0.83197 NaN NaN

4 0.883679 0.908033 0.776081 0.848419 NaN NaN

5 0.894311 0.913304 0.830153 0.892857 NaN NaN

6 0.897492 0.917212 0.839399 0.894039 NaN NaN

7 0.88979 0.907306 0.869706 0.914304 NaN NaN

8 0.889427 0.907034 0.882656 0.925391 NaN NaN

9 0.890722 0.906307 0.903194 0.951018 NaN NaN

10 0.896924 0.902308 0.910305 0.941567 NaN NaN

11 0.884996 0.895856 0.919257 0.959833 NaN NaN

12 0.898628 0.925754 0.923687 0.96365 NaN NaN

13 0.901808 0.914667 0.934115 0.961923 NaN NaN

14 0.896356 0.921756 0.928253 0.96365 NaN NaN

15 0.903694 0.921392 0.936796 0.96574 NaN NaN

16 0.903967 0.917121 0.942794 0.970102 NaN NaN

17 0.899696 0.916303 0.944089 0.969829 NaN NaN

18 0.900695 0.923391 0.94293 0.972465 NaN NaN

19 0.903512 0.913577 0.949041 0.973646 NaN NaN

20 0.900127 0.922483 0.949677 0.973101 NaN NaN

21 0.895265 0.915485 0.935751 0.955107 NaN NaN

22 0.90274 0.92012 0.952449 0.973646 NaN NaN

23 0.904966 0.917757 0.953085 0.97619 NaN NaN

24 0.905852 0.929844 0.958879 0.979916 NaN NaN

25 0.898878 0.91285 0.959333 0.980189 NaN NaN

26 0.906761 0.915394 0.960492 0.977463 NaN NaN

27 0.904444 0.911759 0.966058 0.984824 NaN NaN

28 0.905103 0.922846 0.957425 0.976372 NaN NaN

29 0.908806 0.92112 0.959606 0.976009 NaN NaN

30 0.907874 0.914213 0.964195 0.985642 NaN NaN

31 0.899014 0.901763 0.964626 0.985551 NaN NaN

32 0.910555 0.930298 0.96424 0.985187 NaN NaN

33 0.910782 0.917757 0.961469 0.980825 NaN NaN

34 0.8999 0.917666 0.964967 0.985369 NaN NaN

35 0.899855 NaN 0.970306 0.98655 NaN NaN

36 NaN NaN 0.967489 0.978281 NaN NaN

37 NaN NaN 0.972146 0.987913 NaN NaN

38 NaN NaN 0.968284 0.985642 NaN NaN

39 NaN NaN 0.966898 0.987005 NaN NaN

evaluating on test set...

Accuracy on test images: 0.914577

epoch 35 accuracy on test set is: 0.9145765176299527

evaluating on test set takes 16 seconds.

shallow_train shallow_test scratch_train scratch_test deep_train deep_test

0 0.849396 0.875682 0.277854 0.251999 NaN NaN

1 0.868889 0.891948 0.473737 0.542803 NaN NaN

2 0.877249 0.90976 0.651877 0.724555 NaN NaN

3 0.883224 0.89522 0.742321 0.83197 NaN NaN

4 0.883679 0.908033 0.776081 0.848419 NaN NaN

5 0.894311 0.913304 0.830153 0.892857 NaN NaN

6 0.897492 0.917212 0.839399 0.894039 NaN NaN

7 0.88979 0.907306 0.869706 0.914304 NaN NaN

8 0.889427 0.907034 0.882656 0.925391 NaN NaN

9 0.890722 0.906307 0.903194 0.951018 NaN NaN

10 0.896924 0.902308 0.910305 0.941567 NaN NaN

11 0.884996 0.895856 0.919257 0.959833 NaN NaN

12 0.898628 0.925754 0.923687 0.96365 NaN NaN

13 0.901808 0.914667 0.934115 0.961923 NaN NaN

14 0.896356 0.921756 0.928253 0.96365 NaN NaN

15 0.903694 0.921392 0.936796 0.96574 NaN NaN

16 0.903967 0.917121 0.942794 0.970102 NaN NaN

17 0.899696 0.916303 0.944089 0.969829 NaN NaN

18 0.900695 0.923391 0.94293 0.972465 NaN NaN

19 0.903512 0.913577 0.949041 0.973646 NaN NaN

20 0.900127 0.922483 0.949677 0.973101 NaN NaN

21 0.895265 0.915485 0.935751 0.955107 NaN NaN

22 0.90274 0.92012 0.952449 0.973646 NaN NaN

23 0.904966 0.917757 0.953085 0.97619 NaN NaN

24 0.905852 0.929844 0.958879 0.979916 NaN NaN

25 0.898878 0.91285 0.959333 0.980189 NaN NaN

26 0.906761 0.915394 0.960492 0.977463 NaN NaN

27 0.904444 0.911759 0.966058 0.984824 NaN NaN

28 0.905103 0.922846 0.957425 0.976372 NaN NaN

29 0.908806 0.92112 0.959606 0.976009 NaN NaN

30 0.907874 0.914213 0.964195 0.985642 NaN NaN

31 0.899014 0.901763 0.964626 0.985551 NaN NaN

32 0.910555 0.930298 0.96424 0.985187 NaN NaN

33 0.910782 0.917757 0.961469 0.980825 NaN NaN

34 0.8999 0.917666 0.964967 0.985369 NaN NaN

35 0.899855 0.914577 0.970306 0.98655 NaN NaN

36 NaN NaN 0.967489 0.978281 NaN NaN

37 NaN NaN 0.972146 0.987913 NaN NaN

38 NaN NaN 0.968284 0.985642 NaN NaN

39 NaN NaN 0.966898 0.987005 NaN NaN

epoch 35 takes 150 seconds.

[37, 30] loss: 0.411

[37, 60] loss: 0.454

[37, 90] loss: 0.491

[37, 120] loss: 0.556

[37, 150] loss: 0.496

[37, 180] loss: 0.434

[37, 210] loss: 0.568

[37, 240] loss: 0.417

[37, 270] loss: 0.401

[37, 300] loss: 0.435

[37, 330] loss: 0.495

[37, 360] loss: 0.565

[37, 390] loss: 0.490

[37, 420] loss: 0.462

[37, 450] loss: 0.457

[37, 480] loss: 0.486

[37, 510] loss: 0.486

[37, 540] loss: 0.402

[37, 570] loss: 0.570

[37, 600] loss: 0.497

[37, 630] loss: 0.474

[37, 660] loss: 0.471

[37, 690] loss: 0.476

[37, 720] loss: 0.438

[37, 750] loss: 0.481

[37, 780] loss: 0.518

[37, 810] loss: 0.501

[37, 840] loss: 0.511

[37, 870] loss: 0.469

[37, 900] loss: 0.444

[37, 930] loss: 0.455

[37, 960] loss: 0.473

[37, 990] loss: 0.550

[37, 1020] loss: 0.449

[37, 1050] loss: 0.341

[37, 1080] loss: 0.638

[37, 1110] loss: 0.483

[37, 1140] loss: 0.520

[37, 1170] loss: 0.410

[37, 1200] loss: 0.508

[37, 1230] loss: 0.394

[37, 1260] loss: 0.454

[37, 1290] loss: 0.527

[37, 1320] loss: 0.464

[37, 1350] loss: 0.504

[37, 1380] loss: 0.444

[37, 1410] loss: 0.457

[37, 1440] loss: 0.522

[37, 1470] loss: 0.472

[37, 1500] loss: 0.484

[37, 1530] loss: 0.416

[37, 1560] loss: 0.423

[37, 1590] loss: 0.526

[37, 1620] loss: 0.433

[37, 1650] loss: 0.487

[37, 1680] loss: 0.534

[37, 1710] loss: 0.447

[37, 1740] loss: 0.457

[37, 1770] loss: 0.455

[37, 1800] loss: 0.482

[37, 1830] loss: 0.441

[37, 1860] loss: 0.531

[37, 1890] loss: 0.442

[37, 1920] loss: 0.423

[37, 1950] loss: 0.432

[37, 1980] loss: 0.481

[37, 2010] loss: 0.470

[37, 2040] loss: 0.420

[37, 2070] loss: 0.447

[37, 2100] loss: 0.548

[37, 2130] loss: 0.487

[37, 2160] loss: 0.457

[37, 2190] loss: 0.463

ovft_intermediate_models/epoch36_shallow.pt saved.


evaluating on training set...

Accuracy on test images: 0.902854

epoch 36 accuracy on train set is: 0.9028535078153399

evaluating on training set takes 70 seconds.

shallow_train shallow_test scratch_train scratch_test deep_train deep_test

0 0.849396 0.875682 0.277854 0.251999 NaN NaN

1 0.868889 0.891948 0.473737 0.542803 NaN NaN

2 0.877249 0.90976 0.651877 0.724555 NaN NaN

3 0.883224 0.89522 0.742321 0.83197 NaN NaN

4 0.883679 0.908033 0.776081 0.848419 NaN NaN

5 0.894311 0.913304 0.830153 0.892857 NaN NaN

6 0.897492 0.917212 0.839399 0.894039 NaN NaN

7 0.88979 0.907306 0.869706 0.914304 NaN NaN

8 0.889427 0.907034 0.882656 0.925391 NaN NaN

9 0.890722 0.906307 0.903194 0.951018 NaN NaN

10 0.896924 0.902308 0.910305 0.941567 NaN NaN

11 0.884996 0.895856 0.919257 0.959833 NaN NaN

12 0.898628 0.925754 0.923687 0.96365 NaN NaN

13 0.901808 0.914667 0.934115 0.961923 NaN NaN

14 0.896356 0.921756 0.928253 0.96365 NaN NaN

15 0.903694 0.921392 0.936796 0.96574 NaN NaN

16 0.903967 0.917121 0.942794 0.970102 NaN NaN

17 0.899696 0.916303 0.944089 0.969829 NaN NaN

18 0.900695 0.923391 0.94293 0.972465 NaN NaN

19 0.903512 0.913577 0.949041 0.973646 NaN NaN

20 0.900127 0.922483 0.949677 0.973101 NaN NaN

21 0.895265 0.915485 0.935751 0.955107 NaN NaN

22 0.90274 0.92012 0.952449 0.973646 NaN NaN

23 0.904966 0.917757 0.953085 0.97619 NaN NaN

24 0.905852 0.929844 0.958879 0.979916 NaN NaN

25 0.898878 0.91285 0.959333 0.980189 NaN NaN

26 0.906761 0.915394 0.960492 0.977463 NaN NaN

27 0.904444 0.911759 0.966058 0.984824 NaN NaN

28 0.905103 0.922846 0.957425 0.976372 NaN NaN

29 0.908806 0.92112 0.959606 0.976009 NaN NaN

30 0.907874 0.914213 0.964195 0.985642 NaN NaN

31 0.899014 0.901763 0.964626 0.985551 NaN NaN

32 0.910555 0.930298 0.96424 0.985187 NaN NaN

33 0.910782 0.917757 0.961469 0.980825 NaN NaN

34 0.8999 0.917666 0.964967 0.985369 NaN NaN

35 0.899855 0.914577 0.970306 0.98655 NaN NaN

36 0.902854 NaN 0.967489 0.978281 NaN NaN

37 NaN NaN 0.972146 0.987913 NaN NaN

38 NaN NaN 0.968284 0.985642 NaN NaN

39 NaN NaN 0.966898 0.987005 NaN NaN

evaluating on test set...

Accuracy on test images: 0.916031

epoch 36 accuracy on test set is: 0.916030534351145

evaluating on test set takes 17 seconds.

shallow_train shallow_test scratch_train scratch_test deep_train deep_test

0 0.849396 0.875682 0.277854 0.251999 NaN NaN

1 0.868889 0.891948 0.473737 0.542803 NaN NaN

2 0.877249 0.90976 0.651877 0.724555 NaN NaN

3 0.883224 0.89522 0.742321 0.83197 NaN NaN

4 0.883679 0.908033 0.776081 0.848419 NaN NaN

5 0.894311 0.913304 0.830153 0.892857 NaN NaN

6 0.897492 0.917212 0.839399 0.894039 NaN NaN

7 0.88979 0.907306 0.869706 0.914304 NaN NaN

8 0.889427 0.907034 0.882656 0.925391 NaN NaN

9 0.890722 0.906307 0.903194 0.951018 NaN NaN

10 0.896924 0.902308 0.910305 0.941567 NaN NaN

11 0.884996 0.895856 0.919257 0.959833 NaN NaN

12 0.898628 0.925754 0.923687 0.96365 NaN NaN

13 0.901808 0.914667 0.934115 0.961923 NaN NaN

14 0.896356 0.921756 0.928253 0.96365 NaN NaN

15 0.903694 0.921392 0.936796 0.96574 NaN NaN

16 0.903967 0.917121 0.942794 0.970102 NaN NaN

17 0.899696 0.916303 0.944089 0.969829 NaN NaN

18 0.900695 0.923391 0.94293 0.972465 NaN NaN

19 0.903512 0.913577 0.949041 0.973646 NaN NaN

20 0.900127 0.922483 0.949677 0.973101 NaN NaN

21 0.895265 0.915485 0.935751 0.955107 NaN NaN

22 0.90274 0.92012 0.952449 0.973646 NaN NaN

23 0.904966 0.917757 0.953085 0.97619 NaN NaN

24 0.905852 0.929844 0.958879 0.979916 NaN NaN

25 0.898878 0.91285 0.959333 0.980189 NaN NaN

26 0.906761 0.915394 0.960492 0.977463 NaN NaN

27 0.904444 0.911759 0.966058 0.984824 NaN NaN

28 0.905103 0.922846 0.957425 0.976372 NaN NaN

29 0.908806 0.92112 0.959606 0.976009 NaN NaN

30 0.907874 0.914213 0.964195 0.985642 NaN NaN

31 0.899014 0.901763 0.964626 0.985551 NaN NaN

32 0.910555 0.930298 0.96424 0.985187 NaN NaN

33 0.910782 0.917757 0.961469 0.980825 NaN NaN

34 0.8999 0.917666 0.964967 0.985369 NaN NaN

35 0.899855 0.914577 0.970306 0.98655 NaN NaN

36 0.902854 0.916031 0.967489 0.978281 NaN NaN

37 NaN NaN 0.972146 0.987913 NaN NaN

38 NaN NaN 0.968284 0.985642 NaN NaN

39 NaN NaN 0.966898 0.987005 NaN NaN

epoch 36 takes 158 seconds.

[38, 30] loss: 0.590

[38, 60] loss: 0.458

[38, 90] loss: 0.476

[38, 120] loss: 0.482

[38, 150] loss: 0.510

[38, 180] loss: 0.431

[38, 210] loss: 0.481

[38, 240] loss: 0.454

[38, 270] loss: 0.504

[38, 300] loss: 0.474

[38, 330] loss: 0.453

[38, 360] loss: 0.468

[38, 390] loss: 0.457

[38, 420] loss: 0.390

[38, 450] loss: 0.494

[38, 480] loss: 0.481

[38, 510] loss: 0.426

[38, 540] loss: 0.503

[38, 570] loss: 0.461

[38, 600] loss: 0.445

[38, 630] loss: 0.454

[38, 660] loss: 0.376

[38, 690] loss: 0.540

[38, 720] loss: 0.480

[38, 750] loss: 0.497

[38, 780] loss: 0.423

[38, 810] loss: 0.479

[38, 840] loss: 0.492

[38, 870] loss: 0.443

[38, 900] loss: 0.503

[38, 930] loss: 0.528

[38, 960] loss: 0.516

[38, 990] loss: 0.500

[38, 1020] loss: 0.468

[38, 1050] loss: 0.468

[38, 1080] loss: 0.494

[38, 1110] loss: 0.501

[38, 1140] loss: 0.471

[38, 1170] loss: 0.412

[38, 1200] loss: 0.527

[38, 1230] loss: 0.422

[38, 1260] loss: 0.383

[38, 1290] loss: 0.475

[38, 1320] loss: 0.430

[38, 1350] loss: 0.459

[38, 1380] loss: 0.468

[38, 1410] loss: 0.587

[38, 1440] loss: 0.501

[38, 1470] loss: 0.402

[38, 1500] loss: 0.487

[38, 1530] loss: 0.392

[38, 1560] loss: 0.502

[38, 1590] loss: 0.490

[38, 1620] loss: 0.533

[38, 1650] loss: 0.451

[38, 1680] loss: 0.496

[38, 1710] loss: 0.436

[38, 1740] loss: 0.387

[38, 1770] loss: 0.548

[38, 1800] loss: 0.398

[38, 1830] loss: 0.421

[38, 1860] loss: 0.395

[38, 1890] loss: 0.476

[38, 1920] loss: 0.558

[38, 1950] loss: 0.485

[38, 1980] loss: 0.420

[38, 2010] loss: 0.493

[38, 2040] loss: 0.496

[38, 2070] loss: 0.518

[38, 2100] loss: 0.415

[38, 2130] loss: 0.414

[38, 2160] loss: 0.406

[38, 2190] loss: 0.476

ovft_intermediate_models/epoch37_shallow.pt saved.


evaluating on training set...

Accuracy on test images: 0.900536

epoch 37 accuracy on train set is: 0.9005361686659397

evaluating on training set takes 69 seconds.

shallow_train shallow_test scratch_train scratch_test deep_train deep_test

0 0.849396 0.875682 0.277854 0.251999 NaN NaN

1 0.868889 0.891948 0.473737 0.542803 NaN NaN

2 0.877249 0.90976 0.651877 0.724555 NaN NaN

3 0.883224 0.89522 0.742321 0.83197 NaN NaN

4 0.883679 0.908033 0.776081 0.848419 NaN NaN

5 0.894311 0.913304 0.830153 0.892857 NaN NaN

6 0.897492 0.917212 0.839399 0.894039 NaN NaN

7 0.88979 0.907306 0.869706 0.914304 NaN NaN

8 0.889427 0.907034 0.882656 0.925391 NaN NaN

9 0.890722 0.906307 0.903194 0.951018 NaN NaN

10 0.896924 0.902308 0.910305 0.941567 NaN NaN

11 0.884996 0.895856 0.919257 0.959833 NaN NaN

12 0.898628 0.925754 0.923687 0.96365 NaN NaN

13 0.901808 0.914667 0.934115 0.961923 NaN NaN

14 0.896356 0.921756 0.928253 0.96365 NaN NaN

15 0.903694 0.921392 0.936796 0.96574 NaN NaN

16 0.903967 0.917121 0.942794 0.970102 NaN NaN

17 0.899696 0.916303 0.944089 0.969829 NaN NaN

18 0.900695 0.923391 0.94293 0.972465 NaN NaN

19 0.903512 0.913577 0.949041 0.973646 NaN NaN

20 0.900127 0.922483 0.949677 0.973101 NaN NaN

21 0.895265 0.915485 0.935751 0.955107 NaN NaN

22 0.90274 0.92012 0.952449 0.973646 NaN NaN

23 0.904966 0.917757 0.953085 0.97619 NaN NaN

24 0.905852 0.929844 0.958879 0.979916 NaN NaN

25 0.898878 0.91285 0.959333 0.980189 NaN NaN

26 0.906761 0.915394 0.960492 0.977463 NaN NaN

27 0.904444 0.911759 0.966058 0.984824 NaN NaN

28 0.905103 0.922846 0.957425 0.976372 NaN NaN

29 0.908806 0.92112 0.959606 0.976009 NaN NaN

30 0.907874 0.914213 0.964195 0.985642 NaN NaN

31 0.899014 0.901763 0.964626 0.985551 NaN NaN

32 0.910555 0.930298 0.96424 0.985187 NaN NaN

33 0.910782 0.917757 0.961469 0.980825 NaN NaN

34 0.8999 0.917666 0.964967 0.985369 NaN NaN

35 0.899855 0.914577 0.970306 0.98655 NaN NaN

36 0.902854 0.916031 0.967489 0.978281 NaN NaN

37 0.900536 NaN 0.972146 0.987913 NaN NaN

38 NaN NaN 0.968284 0.985642 NaN NaN

39 NaN NaN 0.966898 0.987005 NaN NaN

evaluating on test set...

Accuracy on test images: 0.913304

epoch 37 accuracy on test set is: 0.9133042529989095

evaluating on test set takes 17 seconds.

shallow_train shallow_test scratch_train scratch_test deep_train deep_test

0 0.849396 0.875682 0.277854 0.251999 NaN NaN

1 0.868889 0.891948 0.473737 0.542803 NaN NaN

2 0.877249 0.90976 0.651877 0.724555 NaN NaN

3 0.883224 0.89522 0.742321 0.83197 NaN NaN

4 0.883679 0.908033 0.776081 0.848419 NaN NaN

5 0.894311 0.913304 0.830153 0.892857 NaN NaN

6 0.897492 0.917212 0.839399 0.894039 NaN NaN

7 0.88979 0.907306 0.869706 0.914304 NaN NaN

8 0.889427 0.907034 0.882656 0.925391 NaN NaN

9 0.890722 0.906307 0.903194 0.951018 NaN NaN

10 0.896924 0.902308 0.910305 0.941567 NaN NaN

11 0.884996 0.895856 0.919257 0.959833 NaN NaN

12 0.898628 0.925754 0.923687 0.96365 NaN NaN

13 0.901808 0.914667 0.934115 0.961923 NaN NaN

14 0.896356 0.921756 0.928253 0.96365 NaN NaN

15 0.903694 0.921392 0.936796 0.96574 NaN NaN

16 0.903967 0.917121 0.942794 0.970102 NaN NaN

17 0.899696 0.916303 0.944089 0.969829 NaN NaN

18 0.900695 0.923391 0.94293 0.972465 NaN NaN

19 0.903512 0.913577 0.949041 0.973646 NaN NaN

20 0.900127 0.922483 0.949677 0.973101 NaN NaN

21 0.895265 0.915485 0.935751 0.955107 NaN NaN

22 0.90274 0.92012 0.952449 0.973646 NaN NaN

23 0.904966 0.917757 0.953085 0.97619 NaN NaN

24 0.905852 0.929844 0.958879 0.979916 NaN NaN

25 0.898878 0.91285 0.959333 0.980189 NaN NaN

26 0.906761 0.915394 0.960492 0.977463 NaN NaN

27 0.904444 0.911759 0.966058 0.984824 NaN NaN

28 0.905103 0.922846 0.957425 0.976372 NaN NaN

29 0.908806 0.92112 0.959606 0.976009 NaN NaN

30 0.907874 0.914213 0.964195 0.985642 NaN NaN

31 0.899014 0.901763 0.964626 0.985551 NaN NaN

32 0.910555 0.930298 0.96424 0.985187 NaN NaN

33 0.910782 0.917757 0.961469 0.980825 NaN NaN

34 0.8999 0.917666 0.964967 0.985369 NaN NaN

35 0.899855 0.914577 0.970306 0.98655 NaN NaN

36 0.902854 0.916031 0.967489 0.978281 NaN NaN

37 0.900536 0.913304 0.972146 0.987913 NaN NaN

38 NaN NaN 0.968284 0.985642 NaN NaN

39 NaN NaN 0.966898 0.987005 NaN NaN

epoch 37 takes 163 seconds.

[39, 30] loss: 0.526

[39, 60] loss: 0.519

[39, 90] loss: 0.486

[39, 120] loss: 0.487

[39, 150] loss: 0.457

[39, 180] loss: 0.515

[39, 210] loss: 0.486

[39, 240] loss: 0.448

[39, 270] loss: 0.492

[39, 300] loss: 0.517

[39, 330] loss: 0.518

[39, 360] loss: 0.505

[39, 390] loss: 0.469

[39, 420] loss: 0.541

[39, 450] loss: 0.410

[39, 480] loss: 0.516

[39, 510] loss: 0.462

[39, 540] loss: 0.439

[39, 570] loss: 0.499

[39, 600] loss: 0.382

[39, 630] loss: 0.473

[39, 660] loss: 0.364

[39, 690] loss: 0.483

[39, 720] loss: 0.450

[39, 750] loss: 0.396

[39, 780] loss: 0.498

[39, 810] loss: 0.495

[39, 840] loss: 0.502

[39, 870] loss: 0.406

[39, 900] loss: 0.490

[39, 930] loss: 0.406

[39, 960] loss: 0.457

[39, 990] loss: 0.531

[39, 1020] loss: 0.384

[39, 1050] loss: 0.494

[39, 1080] loss: 0.390

[39, 1110] loss: 0.503

[39, 1140] loss: 0.576

[39, 1170] loss: 0.470

[39, 1200] loss: 0.473

[39, 1230] loss: 0.374

[39, 1260] loss: 0.527

[39, 1290] loss: 0.457

[39, 1320] loss: 0.487

[39, 1350] loss: 0.451

[39, 1380] loss: 0.395

[39, 1410] loss: 0.410

[39, 1440] loss: 0.437

[39, 1470] loss: 0.522

[39, 1500] loss: 0.409

[39, 1530] loss: 0.516

[39, 1560] loss: 0.558

[39, 1590] loss: 0.438

[39, 1620] loss: 0.518

[39, 1650] loss: 0.450

[39, 1680] loss: 0.515

[39, 1710] loss: 0.460

[39, 1740] loss: 0.544

[39, 1770] loss: 0.454

[39, 1800] loss: 0.447

[39, 1830] loss: 0.474

[39, 1860] loss: 0.511

[39, 1890] loss: 0.433

[39, 1920] loss: 0.448

[39, 1950] loss: 0.516

[39, 1980] loss: 0.503

[39, 2010] loss: 0.466

[39, 2040] loss: 0.449

[39, 2070] loss: 0.477

[39, 2100] loss: 0.523

[39, 2130] loss: 0.456

[39, 2160] loss: 0.401

[39, 2190] loss: 0.577

ovft_intermediate_models/epoch38_shallow.pt saved.


evaluating on training set...

Accuracy on test images: 0.903921

epoch 38 accuracy on train set is: 0.9039213013449655

evaluating on training set takes 69 seconds.

shallow_train shallow_test scratch_train scratch_test deep_train deep_test

0 0.849396 0.875682 0.277854 0.251999 NaN NaN

1 0.868889 0.891948 0.473737 0.542803 NaN NaN

2 0.877249 0.90976 0.651877 0.724555 NaN NaN

3 0.883224 0.89522 0.742321 0.83197 NaN NaN

4 0.883679 0.908033 0.776081 0.848419 NaN NaN

5 0.894311 0.913304 0.830153 0.892857 NaN NaN

6 0.897492 0.917212 0.839399 0.894039 NaN NaN

7 0.88979 0.907306 0.869706 0.914304 NaN NaN

8 0.889427 0.907034 0.882656 0.925391 NaN NaN

9 0.890722 0.906307 0.903194 0.951018 NaN NaN

10 0.896924 0.902308 0.910305 0.941567 NaN NaN

11 0.884996 0.895856 0.919257 0.959833 NaN NaN

12 0.898628 0.925754 0.923687 0.96365 NaN NaN

13 0.901808 0.914667 0.934115 0.961923 NaN NaN

14 0.896356 0.921756 0.928253 0.96365 NaN NaN

15 0.903694 0.921392 0.936796 0.96574 NaN NaN

16 0.903967 0.917121 0.942794 0.970102 NaN NaN

17 0.899696 0.916303 0.944089 0.969829 NaN NaN

18 0.900695 0.923391 0.94293 0.972465 NaN NaN

19 0.903512 0.913577 0.949041 0.973646 NaN NaN

20 0.900127 0.922483 0.949677 0.973101 NaN NaN

21 0.895265 0.915485 0.935751 0.955107 NaN NaN

22 0.90274 0.92012 0.952449 0.973646 NaN NaN

23 0.904966 0.917757 0.953085 0.97619 NaN NaN

24 0.905852 0.929844 0.958879 0.979916 NaN NaN

25 0.898878 0.91285 0.959333 0.980189 NaN NaN

26 0.906761 0.915394 0.960492 0.977463 NaN NaN

27 0.904444 0.911759 0.966058 0.984824 NaN NaN

28 0.905103 0.922846 0.957425 0.976372 NaN NaN

29 0.908806 0.92112 0.959606 0.976009 NaN NaN

30 0.907874 0.914213 0.964195 0.985642 NaN NaN

31 0.899014 0.901763 0.964626 0.985551 NaN NaN

32 0.910555 0.930298 0.96424 0.985187 NaN NaN

33 0.910782 0.917757 0.961469 0.980825 NaN NaN

34 0.8999 0.917666 0.964967 0.985369 NaN NaN

35 0.899855 0.914577 0.970306 0.98655 NaN NaN

36 0.902854 0.916031 0.967489 0.978281 NaN NaN

37 0.900536 0.913304 0.972146 0.987913 NaN NaN

38 0.903921 NaN 0.968284 0.985642 NaN NaN

39 NaN NaN 0.966898 0.987005 NaN NaN

evaluating on test set...

Accuracy on test images: 0.918030

epoch 38 accuracy on test set is: 0.9180298073427844

evaluating on test set takes 17 seconds.

shallow_train shallow_test scratch_train scratch_test deep_train deep_test

0 0.849396 0.875682 0.277854 0.251999 NaN NaN

1 0.868889 0.891948 0.473737 0.542803 NaN NaN

2 0.877249 0.90976 0.651877 0.724555 NaN NaN

3 0.883224 0.89522 0.742321 0.83197 NaN NaN

4 0.883679 0.908033 0.776081 0.848419 NaN NaN

5 0.894311 0.913304 0.830153 0.892857 NaN NaN

6 0.897492 0.917212 0.839399 0.894039 NaN NaN

7 0.88979 0.907306 0.869706 0.914304 NaN NaN

8 0.889427 0.907034 0.882656 0.925391 NaN NaN

9 0.890722 0.906307 0.903194 0.951018 NaN NaN

10 0.896924 0.902308 0.910305 0.941567 NaN NaN

11 0.884996 0.895856 0.919257 0.959833 NaN NaN

12 0.898628 0.925754 0.923687 0.96365 NaN NaN

13 0.901808 0.914667 0.934115 0.961923 NaN NaN

14 0.896356 0.921756 0.928253 0.96365 NaN NaN

15 0.903694 0.921392 0.936796 0.96574 NaN NaN

16 0.903967 0.917121 0.942794 0.970102 NaN NaN

17 0.899696 0.916303 0.944089 0.969829 NaN NaN

18 0.900695 0.923391 0.94293 0.972465 NaN NaN

19 0.903512 0.913577 0.949041 0.973646 NaN NaN

20 0.900127 0.922483 0.949677 0.973101 NaN NaN

21 0.895265 0.915485 0.935751 0.955107 NaN NaN

22 0.90274 0.92012 0.952449 0.973646 NaN NaN

23 0.904966 0.917757 0.953085 0.97619 NaN NaN

24 0.905852 0.929844 0.958879 0.979916 NaN NaN

25 0.898878 0.91285 0.959333 0.980189 NaN NaN

26 0.906761 0.915394 0.960492 0.977463 NaN NaN

27 0.904444 0.911759 0.966058 0.984824 NaN NaN

28 0.905103 0.922846 0.957425 0.976372 NaN NaN

29 0.908806 0.92112 0.959606 0.976009 NaN NaN

30 0.907874 0.914213 0.964195 0.985642 NaN NaN

31 0.899014 0.901763 0.964626 0.985551 NaN NaN

32 0.910555 0.930298 0.96424 0.985187 NaN NaN

33 0.910782 0.917757 0.961469 0.980825 NaN NaN

34 0.8999 0.917666 0.964967 0.985369 NaN NaN

35 0.899855 0.914577 0.970306 0.98655 NaN NaN

36 0.902854 0.916031 0.967489 0.978281 NaN NaN

37 0.900536 0.913304 0.972146 0.987913 NaN NaN

38 0.903921 0.91803 0.968284 0.985642 NaN NaN

39 NaN NaN 0.966898 0.987005 NaN NaN

epoch 38 takes 163 seconds.

[40, 30] loss: 0.478

[40, 60] loss: 0.415

[40, 90] loss: 0.478

[40, 120] loss: 0.575

[40, 150] loss: 0.541

[40, 180] loss: 0.465

[40, 210] loss: 0.468

[40, 240] loss: 0.437

[40, 270] loss: 0.442

[40, 300] loss: 0.546

[40, 330] loss: 0.433

[40, 360] loss: 0.424

[40, 390] loss: 0.445

[40, 420] loss: 0.431

[40, 450] loss: 0.387

[40, 480] loss: 0.483

[40, 510] loss: 0.519

[40, 540] loss: 0.531

[40, 570] loss: 0.519

[40, 600] loss: 0.449

[40, 630] loss: 0.470

[40, 660] loss: 0.353

[40, 690] loss: 0.516

[40, 720] loss: 0.453

[40, 750] loss: 0.410

[40, 780] loss: 0.470

[40, 810] loss: 0.525

[40, 840] loss: 0.472

[40, 870] loss: 0.432

[40, 900] loss: 0.496

[40, 930] loss: 0.465

[40, 960] loss: 0.519

[40, 990] loss: 0.518

[40, 1020] loss: 0.494

[40, 1050] loss: 0.447

[40, 1080] loss: 0.499

[40, 1110] loss: 0.426

[40, 1140] loss: 0.439

[40, 1170] loss: 0.516

[40, 1200] loss: 0.469

[40, 1230] loss: 0.449

[40, 1260] loss: 0.441

[40, 1290] loss: 0.470

[40, 1320] loss: 0.576

[40, 1350] loss: 0.507

[40, 1380] loss: 0.437

[40, 1410] loss: 0.452

[40, 1440] loss: 0.477

[40, 1470] loss: 0.475

[40, 1500] loss: 0.550

[40, 1530] loss: 0.493

[40, 1560] loss: 0.468

[40, 1590] loss: 0.505

[40, 1620] loss: 0.470

[40, 1650] loss: 0.522

[40, 1680] loss: 0.532

[40, 1710] loss: 0.440

[40, 1740] loss: 0.449

[40, 1770] loss: 0.463

[40, 1800] loss: 0.563

[40, 1830] loss: 0.523

[40, 1860] loss: 0.454

[40, 1890] loss: 0.533

[40, 1920] loss: 0.496

[40, 1950] loss: 0.499

[40, 1980] loss: 0.475

[40, 2010] loss: 0.511

[40, 2040] loss: 0.525

[40, 2070] loss: 0.594

[40, 2100] loss: 0.437

[40, 2130] loss: 0.554

[40, 2160] loss: 0.422

[40, 2190] loss: 0.448

ovft_intermediate_models/epoch39_shallow.pt saved.


evaluating on training set...

Accuracy on test images: 0.905693

epoch 39 accuracy on train set is: 0.9056933842239185

evaluating on training set takes 70 seconds.

shallow_train shallow_test scratch_train scratch_test deep_train deep_test

0 0.849396 0.875682 0.277854 0.251999 NaN NaN

1 0.868889 0.891948 0.473737 0.542803 NaN NaN

2 0.877249 0.90976 0.651877 0.724555 NaN NaN

3 0.883224 0.89522 0.742321 0.83197 NaN NaN

4 0.883679 0.908033 0.776081 0.848419 NaN NaN

5 0.894311 0.913304 0.830153 0.892857 NaN NaN

6 0.897492 0.917212 0.839399 0.894039 NaN NaN

7 0.88979 0.907306 0.869706 0.914304 NaN NaN

8 0.889427 0.907034 0.882656 0.925391 NaN NaN

9 0.890722 0.906307 0.903194 0.951018 NaN NaN

10 0.896924 0.902308 0.910305 0.941567 NaN NaN

11 0.884996 0.895856 0.919257 0.959833 NaN NaN

12 0.898628 0.925754 0.923687 0.96365 NaN NaN

13 0.901808 0.914667 0.934115 0.961923 NaN NaN

14 0.896356 0.921756 0.928253 0.96365 NaN NaN

15 0.903694 0.921392 0.936796 0.96574 NaN NaN

16 0.903967 0.917121 0.942794 0.970102 NaN NaN

17 0.899696 0.916303 0.944089 0.969829 NaN NaN

18 0.900695 0.923391 0.94293 0.972465 NaN NaN

19 0.903512 0.913577 0.949041 0.973646 NaN NaN

20 0.900127 0.922483 0.949677 0.973101 NaN NaN

21 0.895265 0.915485 0.935751 0.955107 NaN NaN

22 0.90274 0.92012 0.952449 0.973646 NaN NaN

23 0.904966 0.917757 0.953085 0.97619 NaN NaN

24 0.905852 0.929844 0.958879 0.979916 NaN NaN

25 0.898878 0.91285 0.959333 0.980189 NaN NaN

26 0.906761 0.915394 0.960492 0.977463 NaN NaN

27 0.904444 0.911759 0.966058 0.984824 NaN NaN

28 0.905103 0.922846 0.957425 0.976372 NaN NaN

29 0.908806 0.92112 0.959606 0.976009 NaN NaN

30 0.907874 0.914213 0.964195 0.985642 NaN NaN

31 0.899014 0.901763 0.964626 0.985551 NaN NaN

32 0.910555 0.930298 0.96424 0.985187 NaN NaN

33 0.910782 0.917757 0.961469 0.980825 NaN NaN

34 0.8999 0.917666 0.964967 0.985369 NaN NaN

35 0.899855 0.914577 0.970306 0.98655 NaN NaN

36 0.902854 0.916031 0.967489 0.978281 NaN NaN

37 0.900536 0.913304 0.972146 0.987913 NaN NaN

38 0.903921 0.91803 0.968284 0.985642 NaN NaN

39 0.905693 NaN 0.966898 0.987005 NaN NaN

evaluating on test set...

Accuracy on test images: 0.919302

epoch 39 accuracy on test set is: 0.9193020719738277

evaluating on test set takes 17 seconds.

shallow_train shallow_test scratch_train scratch_test deep_train deep_test

0 0.849396 0.875682 0.277854 0.251999 NaN NaN

1 0.868889 0.891948 0.473737 0.542803 NaN NaN

2 0.877249 0.90976 0.651877 0.724555 NaN NaN

3 0.883224 0.89522 0.742321 0.83197 NaN NaN

4 0.883679 0.908033 0.776081 0.848419 NaN NaN

5 0.894311 0.913304 0.830153 0.892857 NaN NaN

6 0.897492 0.917212 0.839399 0.894039 NaN NaN

7 0.88979 0.907306 0.869706 0.914304 NaN NaN

8 0.889427 0.907034 0.882656 0.925391 NaN NaN

9 0.890722 0.906307 0.903194 0.951018 NaN NaN

10 0.896924 0.902308 0.910305 0.941567 NaN NaN

11 0.884996 0.895856 0.919257 0.959833 NaN NaN

12 0.898628 0.925754 0.923687 0.96365 NaN NaN

13 0.901808 0.914667 0.934115 0.961923 NaN NaN

14 0.896356 0.921756 0.928253 0.96365 NaN NaN

15 0.903694 0.921392 0.936796 0.96574 NaN NaN

16 0.903967 0.917121 0.942794 0.970102 NaN NaN

17 0.899696 0.916303 0.944089 0.969829 NaN NaN

18 0.900695 0.923391 0.94293 0.972465 NaN NaN

19 0.903512 0.913577 0.949041 0.973646 NaN NaN

20 0.900127 0.922483 0.949677 0.973101 NaN NaN

21 0.895265 0.915485 0.935751 0.955107 NaN NaN

22 0.90274 0.92012 0.952449 0.973646 NaN NaN

23 0.904966 0.917757 0.953085 0.97619 NaN NaN

24 0.905852 0.929844 0.958879 0.979916 NaN NaN

25 0.898878 0.91285 0.959333 0.980189 NaN NaN

26 0.906761 0.915394 0.960492 0.977463 NaN NaN

27 0.904444 0.911759 0.966058 0.984824 NaN NaN

28 0.905103 0.922846 0.957425 0.976372 NaN NaN

29 0.908806 0.92112 0.959606 0.976009 NaN NaN

30 0.907874 0.914213 0.964195 0.985642 NaN NaN

31 0.899014 0.901763 0.964626 0.985551 NaN NaN

32 0.910555 0.930298 0.96424 0.985187 NaN NaN

33 0.910782 0.917757 0.961469 0.980825 NaN NaN

34 0.8999 0.917666 0.964967 0.985369 NaN NaN

35 0.899855 0.914577 0.970306 0.98655 NaN NaN

36 0.902854 0.916031 0.967489 0.978281 NaN NaN

37 0.900536 0.913304 0.972146 0.987913 NaN NaN

38 0.903921 0.91803 0.968284 0.985642 NaN NaN

39 0.905693 0.919302 0.966898 0.987005 NaN NaN

epoch 39 takes 162 seconds.

Finished Training

Evaluating...

Accuracy on test images: 0.919302


RETRAINING deep


Targeting alexnet with 39 classes

------------------------------------------

Checking layer size difference between torchvision.models and torch.utils.model_zoo...


for layer classifier.6.weight torchvision.models has size 39 and model_zoo has size 1000


for layer classifier.6.bias torchvision.models has size 39 and model_zoo has size 1000


Replacing the following state from initialized alexnet : ['classifier.6.weight', 'classifier.6.bias']

Resizing input images to max of (224, 224)

Transfering models to GPU(s)

Training...

/home/administrator/anaconda3/envs/torch_nvidia_390/lib/python3.7/site-packages/torchvision/transforms/transforms.py:562: UserWarning: The use of the transforms.RandomSizedCrop transform is deprecated, please use transforms.RandomResizedCrop instead.

warnings.warn("The use of the transforms.RandomSizedCrop transform is deprecated, " +

/home/administrator/anaconda3/envs/torch_nvidia_390/lib/python3.7/site-packages/torchvision/transforms/transforms.py:187: UserWarning: The use of the transforms.Scale transform is deprecated, please use transforms.Resize instead.

warnings.warn("The use of the transforms.Scale transform is deprecated, " +

[1, 30] loss: 2.930

[1, 60] loss: 1.692

[1, 90] loss: 1.329

[1, 120] loss: 1.126

[1, 150] loss: 1.245

[1, 180] loss: 1.038

[1, 210] loss: 0.975

[1, 240] loss: 0.937

[1, 270] loss: 0.812

[1, 300] loss: 0.701

[1, 330] loss: 0.761

[1, 360] loss: 0.683

[1, 390] loss: 0.687

[1, 420] loss: 0.562

[1, 450] loss: 0.647

[1, 480] loss: 0.521

[1, 510] loss: 0.646

[1, 540] loss: 0.591

[1, 570] loss: 0.658

[1, 600] loss: 0.572

[1, 630] loss: 0.636

[1, 660] loss: 0.617

[1, 690] loss: 0.577

[1, 720] loss: 0.613

[1, 750] loss: 0.592

[1, 780] loss: 0.487

[1, 810] loss: 0.511

[1, 840] loss: 0.554

[1, 870] loss: 0.515

[1, 900] loss: 0.578

[1, 930] loss: 0.528

[1, 960] loss: 0.492

[1, 990] loss: 0.516

[1, 1020] loss: 0.450

[1, 1050] loss: 0.451

[1, 1080] loss: 0.404

[1, 1110] loss: 0.428

[1, 1140] loss: 0.438

[1, 1170] loss: 0.528

[1, 1200] loss: 0.436

[1, 1230] loss: 0.393

[1, 1260] loss: 0.430

[1, 1290] loss: 0.382

[1, 1320] loss: 0.382

[1, 1350] loss: 0.339

[1, 1380] loss: 0.465

[1, 1410] loss: 0.486

[1, 1440] loss: 0.432

[1, 1470] loss: 0.431

[1, 1500] loss: 0.385

[1, 1530] loss: 0.373

[1, 1560] loss: 0.447

[1, 1590] loss: 0.381

[1, 1620] loss: 0.330

[1, 1650] loss: 0.308

[1, 1680] loss: 0.449

[1, 1710] loss: 0.408

[1, 1740] loss: 0.447

[1, 1770] loss: 0.438

[1, 1800] loss: 0.429

[1, 1830] loss: 0.383

[1, 1860] loss: 0.398

[1, 1890] loss: 0.315

[1, 1920] loss: 0.330

[1, 1950] loss: 0.405

[1, 1980] loss: 0.360

[1, 2010] loss: 0.325

[1, 2040] loss: 0.385

[1, 2070] loss: 0.323

[1, 2100] loss: 0.324

[1, 2130] loss: 0.365

[1, 2160] loss: 0.334

[1, 2190] loss: 0.309

ovft_intermediate_models/epoch0_deep.pt saved.


evaluating on training set...

Accuracy on test images: 0.923823

epoch 0 accuracy on train set is: 0.923823155216285

evaluating on training set takes 69 seconds.

shallow_train shallow_test scratch_train scratch_test deep_train deep_test

0 0.849396 0.875682 0.277854 0.251999 0.923823 NaN

1 0.868889 0.891948 0.473737 0.542803 NaN NaN

2 0.877249 0.90976 0.651877 0.724555 NaN NaN

3 0.883224 0.89522 0.742321 0.83197 NaN NaN

4 0.883679 0.908033 0.776081 0.848419 NaN NaN

5 0.894311 0.913304 0.830153 0.892857 NaN NaN

6 0.897492 0.917212 0.839399 0.894039 NaN NaN

7 0.88979 0.907306 0.869706 0.914304 NaN NaN

8 0.889427 0.907034 0.882656 0.925391 NaN NaN

9 0.890722 0.906307 0.903194 0.951018 NaN NaN

10 0.896924 0.902308 0.910305 0.941567 NaN NaN

11 0.884996 0.895856 0.919257 0.959833 NaN NaN

12 0.898628 0.925754 0.923687 0.96365 NaN NaN

13 0.901808 0.914667 0.934115 0.961923 NaN NaN

14 0.896356 0.921756 0.928253 0.96365 NaN NaN

15 0.903694 0.921392 0.936796 0.96574 NaN NaN

16 0.903967 0.917121 0.942794 0.970102 NaN NaN

17 0.899696 0.916303 0.944089 0.969829 NaN NaN

18 0.900695 0.923391 0.94293 0.972465 NaN NaN

19 0.903512 0.913577 0.949041 0.973646 NaN NaN

20 0.900127 0.922483 0.949677 0.973101 NaN NaN

21 0.895265 0.915485 0.935751 0.955107 NaN NaN

22 0.90274 0.92012 0.952449 0.973646 NaN NaN

23 0.904966 0.917757 0.953085 0.97619 NaN NaN

24 0.905852 0.929844 0.958879 0.979916 NaN NaN

25 0.898878 0.91285 0.959333 0.980189 NaN NaN

26 0.906761 0.915394 0.960492 0.977463 NaN NaN

27 0.904444 0.911759 0.966058 0.984824 NaN NaN

28 0.905103 0.922846 0.957425 0.976372 NaN NaN

29 0.908806 0.92112 0.959606 0.976009 NaN NaN

30 0.907874 0.914213 0.964195 0.985642 NaN NaN

31 0.899014 0.901763 0.964626 0.985551 NaN NaN

32 0.910555 0.930298 0.96424 0.985187 NaN NaN

33 0.910782 0.917757 0.961469 0.980825 NaN NaN

34 0.8999 0.917666 0.964967 0.985369 NaN NaN

35 0.899855 0.914577 0.970306 0.98655 NaN NaN

36 0.902854 0.916031 0.967489 0.978281 NaN NaN

37 0.900536 0.913304 0.972146 0.987913 NaN NaN

38 0.903921 0.91803 0.968284 0.985642 NaN NaN

39 0.905693 0.919302 0.966898 0.987005 NaN NaN

evaluating on test set...

Accuracy on test images: 0.943384

epoch 0 accuracy on test set is: 0.943384223918575

evaluating on test set takes 17 seconds.

shallow_train shallow_test scratch_train scratch_test deep_train deep_test

0 0.849396 0.875682 0.277854 0.251999 0.923823 0.943384

1 0.868889 0.891948 0.473737 0.542803 NaN NaN

2 0.877249 0.90976 0.651877 0.724555 NaN NaN

3 0.883224 0.89522 0.742321 0.83197 NaN NaN

4 0.883679 0.908033 0.776081 0.848419 NaN NaN

5 0.894311 0.913304 0.830153 0.892857 NaN NaN

6 0.897492 0.917212 0.839399 0.894039 NaN NaN

7 0.88979 0.907306 0.869706 0.914304 NaN NaN

8 0.889427 0.907034 0.882656 0.925391 NaN NaN

9 0.890722 0.906307 0.903194 0.951018 NaN NaN

10 0.896924 0.902308 0.910305 0.941567 NaN NaN

11 0.884996 0.895856 0.919257 0.959833 NaN NaN

12 0.898628 0.925754 0.923687 0.96365 NaN NaN

13 0.901808 0.914667 0.934115 0.961923 NaN NaN

14 0.896356 0.921756 0.928253 0.96365 NaN NaN

15 0.903694 0.921392 0.936796 0.96574 NaN NaN

16 0.903967 0.917121 0.942794 0.970102 NaN NaN

17 0.899696 0.916303 0.944089 0.969829 NaN NaN

18 0.900695 0.923391 0.94293 0.972465 NaN NaN

19 0.903512 0.913577 0.949041 0.973646 NaN NaN

20 0.900127 0.922483 0.949677 0.973101 NaN NaN

21 0.895265 0.915485 0.935751 0.955107 NaN NaN

22 0.90274 0.92012 0.952449 0.973646 NaN NaN

23 0.904966 0.917757 0.953085 0.97619 NaN NaN

24 0.905852 0.929844 0.958879 0.979916 NaN NaN

25 0.898878 0.91285 0.959333 0.980189 NaN NaN

26 0.906761 0.915394 0.960492 0.977463 NaN NaN

27 0.904444 0.911759 0.966058 0.984824 NaN NaN

28 0.905103 0.922846 0.957425 0.976372 NaN NaN

29 0.908806 0.92112 0.959606 0.976009 NaN NaN

30 0.907874 0.914213 0.964195 0.985642 NaN NaN

31 0.899014 0.901763 0.964626 0.985551 NaN NaN

32 0.910555 0.930298 0.96424 0.985187 NaN NaN

33 0.910782 0.917757 0.961469 0.980825 NaN NaN

34 0.8999 0.917666 0.964967 0.985369 NaN NaN

35 0.899855 0.914577 0.970306 0.98655 NaN NaN

36 0.902854 0.916031 0.967489 0.978281 NaN NaN

37 0.900536 0.913304 0.972146 0.987913 NaN NaN

38 0.903921 0.91803 0.968284 0.985642 NaN NaN

39 0.905693 0.919302 0.966898 0.987005 NaN NaN

epoch 0 takes 356 seconds.

[2, 30] loss: 0.299

[2, 60] loss: 0.267

[2, 90] loss: 0.321

[2, 120] loss: 0.308

[2, 150] loss: 0.282

[2, 180] loss: 0.379

[2, 210] loss: 0.401

[2, 240] loss: 0.320

[2, 270] loss: 0.331

[2, 300] loss: 0.375

[2, 330] loss: 0.304

[2, 360] loss: 0.243

[2, 390] loss: 0.297

[2, 420] loss: 0.305

[2, 450] loss: 0.302

[2, 480] loss: 0.310

[2, 510] loss: 0.336

[2, 540] loss: 0.280

[2, 570] loss: 0.240

[2, 600] loss: 0.234

[2, 630] loss: 0.274

[2, 660] loss: 0.303

[2, 690] loss: 0.288

[2, 720] loss: 0.278

[2, 750] loss: 0.246

[2, 780] loss: 0.293

[2, 810] loss: 0.338

[2, 840] loss: 0.324

[2, 870] loss: 0.363

[2, 900] loss: 0.310

[2, 930] loss: 0.234

[2, 960] loss: 0.358

[2, 990] loss: 0.251

[2, 1020] loss: 0.299

[2, 1050] loss: 0.267

[2, 1080] loss: 0.279

[2, 1110] loss: 0.301

[2, 1140] loss: 0.342

[2, 1170] loss: 0.270

[2, 1200] loss: 0.349

[2, 1230] loss: 0.251

[2, 1260] loss: 0.308

[2, 1290] loss: 0.211

[2, 1320] loss: 0.240

[2, 1350] loss: 0.290

[2, 1380] loss: 0.306

[2, 1410] loss: 0.293

[2, 1440] loss: 0.261

[2, 1470] loss: 0.206

[2, 1500] loss: 0.248

[2, 1530] loss: 0.271

[2, 1560] loss: 0.235

[2, 1590] loss: 0.223

[2, 1620] loss: 0.274

[2, 1650] loss: 0.255

[2, 1680] loss: 0.254

[2, 1710] loss: 0.228

[2, 1740] loss: 0.247

[2, 1770] loss: 0.271

[2, 1800] loss: 0.284

[2, 1830] loss: 0.269

[2, 1860] loss: 0.276

[2, 1890] loss: 0.263

[2, 1920] loss: 0.227

[2, 1950] loss: 0.202

[2, 1980] loss: 0.252

[2, 2010] loss: 0.254

[2, 2040] loss: 0.261

[2, 2070] loss: 0.272

[2, 2100] loss: 0.237

[2, 2130] loss: 0.249

[2, 2160] loss: 0.226

[2, 2190] loss: 0.257

ovft_intermediate_models/epoch1_deep.pt saved.


evaluating on training set...

Accuracy on test images: 0.934456

epoch 1 accuracy on train set is: 0.9344556524900036

evaluating on training set takes 69 seconds.

shallow_train shallow_test scratch_train scratch_test deep_train deep_test

0 0.849396 0.875682 0.277854 0.251999 0.923823 0.943384

1 0.868889 0.891948 0.473737 0.542803 0.934456 NaN

2 0.877249 0.90976 0.651877 0.724555 NaN NaN

3 0.883224 0.89522 0.742321 0.83197 NaN NaN

4 0.883679 0.908033 0.776081 0.848419 NaN NaN

5 0.894311 0.913304 0.830153 0.892857 NaN NaN

6 0.897492 0.917212 0.839399 0.894039 NaN NaN

7 0.88979 0.907306 0.869706 0.914304 NaN NaN

8 0.889427 0.907034 0.882656 0.925391 NaN NaN

9 0.890722 0.906307 0.903194 0.951018 NaN NaN

10 0.896924 0.902308 0.910305 0.941567 NaN NaN

11 0.884996 0.895856 0.919257 0.959833 NaN NaN

12 0.898628 0.925754 0.923687 0.96365 NaN NaN

13 0.901808 0.914667 0.934115 0.961923 NaN NaN

14 0.896356 0.921756 0.928253 0.96365 NaN NaN

15 0.903694 0.921392 0.936796 0.96574 NaN NaN

16 0.903967 0.917121 0.942794 0.970102 NaN NaN

17 0.899696 0.916303 0.944089 0.969829 NaN NaN

18 0.900695 0.923391 0.94293 0.972465 NaN NaN

19 0.903512 0.913577 0.949041 0.973646 NaN NaN

20 0.900127 0.922483 0.949677 0.973101 NaN NaN

21 0.895265 0.915485 0.935751 0.955107 NaN NaN

22 0.90274 0.92012 0.952449 0.973646 NaN NaN

23 0.904966 0.917757 0.953085 0.97619 NaN NaN

24 0.905852 0.929844 0.958879 0.979916 NaN NaN

25 0.898878 0.91285 0.959333 0.980189 NaN NaN

26 0.906761 0.915394 0.960492 0.977463 NaN NaN

27 0.904444 0.911759 0.966058 0.984824 NaN NaN

28 0.905103 0.922846 0.957425 0.976372 NaN NaN

29 0.908806 0.92112 0.959606 0.976009 NaN NaN

30 0.907874 0.914213 0.964195 0.985642 NaN NaN

31 0.899014 0.901763 0.964626 0.985551 NaN NaN

32 0.910555 0.930298 0.96424 0.985187 NaN NaN

33 0.910782 0.917757 0.961469 0.980825 NaN NaN

34 0.8999 0.917666 0.964967 0.985369 NaN NaN

35 0.899855 0.914577 0.970306 0.98655 NaN NaN

36 0.902854 0.916031 0.967489 0.978281 NaN NaN

37 0.900536 0.913304 0.972146 0.987913 NaN NaN

38 0.903921 0.91803 0.968284 0.985642 NaN NaN

39 0.905693 0.919302 0.966898 0.987005 NaN NaN

evaluating on test set...

Accuracy on test images: 0.956379

epoch 1 accuracy on test set is: 0.9563794983642312

evaluating on test set takes 17 seconds.

shallow_train shallow_test scratch_train scratch_test deep_train deep_test

0 0.849396 0.875682 0.277854 0.251999 0.923823 0.943384

1 0.868889 0.891948 0.473737 0.542803 0.934456 0.956379

2 0.877249 0.90976 0.651877 0.724555 NaN NaN

3 0.883224 0.89522 0.742321 0.83197 NaN NaN

4 0.883679 0.908033 0.776081 0.848419 NaN NaN

5 0.894311 0.913304 0.830153 0.892857 NaN NaN

6 0.897492 0.917212 0.839399 0.894039 NaN NaN

7 0.88979 0.907306 0.869706 0.914304 NaN NaN

8 0.889427 0.907034 0.882656 0.925391 NaN NaN

9 0.890722 0.906307 0.903194 0.951018 NaN NaN

10 0.896924 0.902308 0.910305 0.941567 NaN NaN

11 0.884996 0.895856 0.919257 0.959833 NaN NaN

12 0.898628 0.925754 0.923687 0.96365 NaN NaN

13 0.901808 0.914667 0.934115 0.961923 NaN NaN

14 0.896356 0.921756 0.928253 0.96365 NaN NaN

15 0.903694 0.921392 0.936796 0.96574 NaN NaN

16 0.903967 0.917121 0.942794 0.970102 NaN NaN

17 0.899696 0.916303 0.944089 0.969829 NaN NaN

18 0.900695 0.923391 0.94293 0.972465 NaN NaN

19 0.903512 0.913577 0.949041 0.973646 NaN NaN

20 0.900127 0.922483 0.949677 0.973101 NaN NaN

21 0.895265 0.915485 0.935751 0.955107 NaN NaN

22 0.90274 0.92012 0.952449 0.973646 NaN NaN

23 0.904966 0.917757 0.953085 0.97619 NaN NaN

24 0.905852 0.929844 0.958879 0.979916 NaN NaN

25 0.898878 0.91285 0.959333 0.980189 NaN NaN

26 0.906761 0.915394 0.960492 0.977463 NaN NaN

27 0.904444 0.911759 0.966058 0.984824 NaN NaN

28 0.905103 0.922846 0.957425 0.976372 NaN NaN

29 0.908806 0.92112 0.959606 0.976009 NaN NaN

30 0.907874 0.914213 0.964195 0.985642 NaN NaN

31 0.899014 0.901763 0.964626 0.985551 NaN NaN

32 0.910555 0.930298 0.96424 0.985187 NaN NaN

33 0.910782 0.917757 0.961469 0.980825 NaN NaN

34 0.8999 0.917666 0.964967 0.985369 NaN NaN

35 0.899855 0.914577 0.970306 0.98655 NaN NaN

36 0.902854 0.916031 0.967489 0.978281 NaN NaN

37 0.900536 0.913304 0.972146 0.987913 NaN NaN

38 0.903921 0.91803 0.968284 0.985642 NaN NaN

39 0.905693 0.919302 0.966898 0.987005 NaN NaN

epoch 1 takes 356 seconds.

[3, 30] loss: 0.274

[3, 60] loss: 0.212

[3, 90] loss: 0.239

[3, 120] loss: 0.207

[3, 150] loss: 0.248

[3, 180] loss: 0.161

[3, 210] loss: 0.240

[3, 240] loss: 0.261

[3, 270] loss: 0.227

[3, 300] loss: 0.223

[3, 330] loss: 0.199

[3, 360] loss: 0.223

[3, 390] loss: 0.213

[3, 420] loss: 0.239

[3, 450] loss: 0.243

[3, 480] loss: 0.277

[3, 510] loss: 0.211

[3, 540] loss: 0.245

[3, 570] loss: 0.297

[3, 600] loss: 0.225

[3, 630] loss: 0.185

[3, 660] loss: 0.212

[3, 690] loss: 0.264

[3, 720] loss: 0.201

[3, 750] loss: 0.200

[3, 780] loss: 0.239

[3, 810] loss: 0.203

[3, 840] loss: 0.264

[3, 870] loss: 0.235

[3, 900] loss: 0.220

[3, 930] loss: 0.211

[3, 960] loss: 0.284

[3, 990] loss: 0.206

[3, 1020] loss: 0.176

[3, 1050] loss: 0.223

[3, 1080] loss: 0.211

[3, 1110] loss: 0.210

[3, 1140] loss: 0.197

[3, 1170] loss: 0.227

[3, 1200] loss: 0.264

[3, 1230] loss: 0.257

[3, 1260] loss: 0.259

[3, 1290] loss: 0.215

[3, 1320] loss: 0.203

[3, 1350] loss: 0.223

[3, 1380] loss: 0.195

[3, 1410] loss: 0.226

[3, 1440] loss: 0.215

[3, 1470] loss: 0.289

[3, 1500] loss: 0.187

[3, 1530] loss: 0.230

[3, 1560] loss: 0.166

[3, 1590] loss: 0.191

[3, 1620] loss: 0.222

[3, 1650] loss: 0.173

[3, 1680] loss: 0.220

[3, 1710] loss: 0.258

[3, 1740] loss: 0.212

[3, 1770] loss: 0.278

[3, 1800] loss: 0.261

[3, 1830] loss: 0.263

[3, 1860] loss: 0.185

[3, 1890] loss: 0.199

[3, 1920] loss: 0.222

[3, 1950] loss: 0.207

[3, 1980] loss: 0.184

[3, 2010] loss: 0.166

[3, 2040] loss: 0.219

[3, 2070] loss: 0.250

[3, 2100] loss: 0.165

[3, 2130] loss: 0.185

[3, 2160] loss: 0.242

[3, 2190] loss: 0.222

ovft_intermediate_models/epoch2_deep.pt saved.


evaluating on training set...

Accuracy on test images: 0.943725

epoch 2 accuracy on train set is: 0.9437250090876045

evaluating on training set takes 69 seconds.

shallow_train shallow_test scratch_train scratch_test deep_train deep_test

0 0.849396 0.875682 0.277854 0.251999 0.923823 0.943384

1 0.868889 0.891948 0.473737 0.542803 0.934456 0.956379

2 0.877249 0.90976 0.651877 0.724555 0.943725 NaN

3 0.883224 0.89522 0.742321 0.83197 NaN NaN

4 0.883679 0.908033 0.776081 0.848419 NaN NaN

5 0.894311 0.913304 0.830153 0.892857 NaN NaN

6 0.897492 0.917212 0.839399 0.894039 NaN NaN

7 0.88979 0.907306 0.869706 0.914304 NaN NaN

8 0.889427 0.907034 0.882656 0.925391 NaN NaN

9 0.890722 0.906307 0.903194 0.951018 NaN NaN

10 0.896924 0.902308 0.910305 0.941567 NaN NaN

11 0.884996 0.895856 0.919257 0.959833 NaN NaN

12 0.898628 0.925754 0.923687 0.96365 NaN NaN

13 0.901808 0.914667 0.934115 0.961923 NaN NaN

14 0.896356 0.921756 0.928253 0.96365 NaN NaN

15 0.903694 0.921392 0.936796 0.96574 NaN NaN

16 0.903967 0.917121 0.942794 0.970102 NaN NaN

17 0.899696 0.916303 0.944089 0.969829 NaN NaN

18 0.900695 0.923391 0.94293 0.972465 NaN NaN

19 0.903512 0.913577 0.949041 0.973646 NaN NaN

20 0.900127 0.922483 0.949677 0.973101 NaN NaN

21 0.895265 0.915485 0.935751 0.955107 NaN NaN

22 0.90274 0.92012 0.952449 0.973646 NaN NaN

23 0.904966 0.917757 0.953085 0.97619 NaN NaN

24 0.905852 0.929844 0.958879 0.979916 NaN NaN

25 0.898878 0.91285 0.959333 0.980189 NaN NaN

26 0.906761 0.915394 0.960492 0.977463 NaN NaN

27 0.904444 0.911759 0.966058 0.984824 NaN NaN

28 0.905103 0.922846 0.957425 0.976372 NaN NaN

29 0.908806 0.92112 0.959606 0.976009 NaN NaN

30 0.907874 0.914213 0.964195 0.985642 NaN NaN

31 0.899014 0.901763 0.964626 0.985551 NaN NaN

32 0.910555 0.930298 0.96424 0.985187 NaN NaN

33 0.910782 0.917757 0.961469 0.980825 NaN NaN

34 0.8999 0.917666 0.964967 0.985369 NaN NaN

35 0.899855 0.914577 0.970306 0.98655 NaN NaN

36 0.902854 0.916031 0.967489 0.978281 NaN NaN

37 0.900536 0.913304 0.972146 0.987913 NaN NaN

38 0.903921 0.91803 0.968284 0.985642 NaN NaN

39 0.905693 0.919302 0.966898 0.987005 NaN NaN

evaluating on test set...

Accuracy on test images: 0.968830

epoch 2 accuracy on test set is: 0.9688295165394402

evaluating on test set takes 17 seconds.

shallow_train shallow_test scratch_train scratch_test deep_train deep_test

0 0.849396 0.875682 0.277854 0.251999 0.923823 0.943384

1 0.868889 0.891948 0.473737 0.542803 0.934456 0.956379

2 0.877249 0.90976 0.651877 0.724555 0.943725 0.96883

3 0.883224 0.89522 0.742321 0.83197 NaN NaN

4 0.883679 0.908033 0.776081 0.848419 NaN NaN

5 0.894311 0.913304 0.830153 0.892857 NaN NaN

6 0.897492 0.917212 0.839399 0.894039 NaN NaN

7 0.88979 0.907306 0.869706 0.914304 NaN NaN

8 0.889427 0.907034 0.882656 0.925391 NaN NaN

9 0.890722 0.906307 0.903194 0.951018 NaN NaN

10 0.896924 0.902308 0.910305 0.941567 NaN NaN

11 0.884996 0.895856 0.919257 0.959833 NaN NaN

12 0.898628 0.925754 0.923687 0.96365 NaN NaN

13 0.901808 0.914667 0.934115 0.961923 NaN NaN

14 0.896356 0.921756 0.928253 0.96365 NaN NaN

15 0.903694 0.921392 0.936796 0.96574 NaN NaN

16 0.903967 0.917121 0.942794 0.970102 NaN NaN

17 0.899696 0.916303 0.944089 0.969829 NaN NaN

18 0.900695 0.923391 0.94293 0.972465 NaN NaN

19 0.903512 0.913577 0.949041 0.973646 NaN NaN

20 0.900127 0.922483 0.949677 0.973101 NaN NaN

21 0.895265 0.915485 0.935751 0.955107 NaN NaN

22 0.90274 0.92012 0.952449 0.973646 NaN NaN

23 0.904966 0.917757 0.953085 0.97619 NaN NaN

24 0.905852 0.929844 0.958879 0.979916 NaN NaN

25 0.898878 0.91285 0.959333 0.980189 NaN NaN

26 0.906761 0.915394 0.960492 0.977463 NaN NaN

27 0.904444 0.911759 0.966058 0.984824 NaN NaN

28 0.905103 0.922846 0.957425 0.976372 NaN NaN

29 0.908806 0.92112 0.959606 0.976009 NaN NaN

30 0.907874 0.914213 0.964195 0.985642 NaN NaN

31 0.899014 0.901763 0.964626 0.985551 NaN NaN

32 0.910555 0.930298 0.96424 0.985187 NaN NaN

33 0.910782 0.917757 0.961469 0.980825 NaN NaN

34 0.8999 0.917666 0.964967 0.985369 NaN NaN

35 0.899855 0.914577 0.970306 0.98655 NaN NaN

36 0.902854 0.916031 0.967489 0.978281 NaN NaN

37 0.900536 0.913304 0.972146 0.987913 NaN NaN

38 0.903921 0.91803 0.968284 0.985642 NaN NaN

39 0.905693 0.919302 0.966898 0.987005 NaN NaN

epoch 2 takes 354 seconds.

[4, 30] loss: 0.198

[4, 60] loss: 0.294

[4, 90] loss: 0.210

[4, 120] loss: 0.234

[4, 150] loss: 0.162

[4, 180] loss: 0.232

[4, 210] loss: 0.200

[4, 240] loss: 0.202

[4, 270] loss: 0.173

[4, 300] loss: 0.245

[4, 330] loss: 0.200

[4, 360] loss: 0.219

[4, 390] loss: 0.192

[4, 420] loss: 0.186

[4, 450] loss: 0.218

[4, 480] loss: 0.192

[4, 510] loss: 0.230

[4, 540] loss: 0.231

[4, 570] loss: 0.198

[4, 600] loss: 0.175

[4, 630] loss: 0.205

[4, 660] loss: 0.174

[4, 690] loss: 0.213

[4, 720] loss: 0.208

[4, 750] loss: 0.160

[4, 780] loss: 0.218

[4, 810] loss: 0.226

[4, 840] loss: 0.170

[4, 870] loss: 0.193

[4, 900] loss: 0.212

[4, 930] loss: 0.191

[4, 960] loss: 0.169

[4, 990] loss: 0.171

[4, 1020] loss: 0.190

[4, 1050] loss: 0.169

[4, 1080] loss: 0.149

[4, 1110] loss: 0.199

[4, 1140] loss: 0.204

[4, 1170] loss: 0.197

[4, 1200] loss: 0.204

[4, 1230] loss: 0.156

[4, 1260] loss: 0.214

[4, 1290] loss: 0.178

[4, 1320] loss: 0.181

[4, 1350] loss: 0.230

[4, 1380] loss: 0.222

[4, 1410] loss: 0.223

[4, 1440] loss: 0.207

[4, 1470] loss: 0.237

[4, 1500] loss: 0.220

[4, 1530] loss: 0.167

[4, 1560] loss: 0.181

[4, 1590] loss: 0.228

[4, 1620] loss: 0.148

[4, 1650] loss: 0.209

[4, 1680] loss: 0.167

[4, 1710] loss: 0.173

[4, 1740] loss: 0.174

[4, 1770] loss: 0.183

[4, 1800] loss: 0.182

[4, 1830] loss: 0.211

[4, 1860] loss: 0.160

[4, 1890] loss: 0.126

[4, 1920] loss: 0.161

[4, 1950] loss: 0.192

[4, 1980] loss: 0.170

[4, 2010] loss: 0.193

[4, 2040] loss: 0.183

[4, 2070] loss: 0.165

[4, 2100] loss: 0.204

[4, 2130] loss: 0.172

[4, 2160] loss: 0.148

[4, 2190] loss: 0.133

ovft_intermediate_models/epoch3_deep.pt saved.


evaluating on training set...

Accuracy on test images: 0.952699

epoch 3 accuracy on train set is: 0.9526990185387132

evaluating on training set takes 68 seconds.

shallow_train shallow_test scratch_train scratch_test deep_train deep_test

0 0.849396 0.875682 0.277854 0.251999 0.923823 0.943384

1 0.868889 0.891948 0.473737 0.542803 0.934456 0.956379

2 0.877249 0.90976 0.651877 0.724555 0.943725 0.96883

3 0.883224 0.89522 0.742321 0.83197 0.952699 NaN

4 0.883679 0.908033 0.776081 0.848419 NaN NaN

5 0.894311 0.913304 0.830153 0.892857 NaN NaN

6 0.897492 0.917212 0.839399 0.894039 NaN NaN

7 0.88979 0.907306 0.869706 0.914304 NaN NaN

8 0.889427 0.907034 0.882656 0.925391 NaN NaN

9 0.890722 0.906307 0.903194 0.951018 NaN NaN

10 0.896924 0.902308 0.910305 0.941567 NaN NaN

11 0.884996 0.895856 0.919257 0.959833 NaN NaN

12 0.898628 0.925754 0.923687 0.96365 NaN NaN

13 0.901808 0.914667 0.934115 0.961923 NaN NaN

14 0.896356 0.921756 0.928253 0.96365 NaN NaN

15 0.903694 0.921392 0.936796 0.96574 NaN NaN

16 0.903967 0.917121 0.942794 0.970102 NaN NaN

17 0.899696 0.916303 0.944089 0.969829 NaN NaN

18 0.900695 0.923391 0.94293 0.972465 NaN NaN

19 0.903512 0.913577 0.949041 0.973646 NaN NaN

20 0.900127 0.922483 0.949677 0.973101 NaN NaN

21 0.895265 0.915485 0.935751 0.955107 NaN NaN

22 0.90274 0.92012 0.952449 0.973646 NaN NaN

23 0.904966 0.917757 0.953085 0.97619 NaN NaN

24 0.905852 0.929844 0.958879 0.979916 NaN NaN

25 0.898878 0.91285 0.959333 0.980189 NaN NaN

26 0.906761 0.915394 0.960492 0.977463 NaN NaN

27 0.904444 0.911759 0.966058 0.984824 NaN NaN

28 0.905103 0.922846 0.957425 0.976372 NaN NaN

29 0.908806 0.92112 0.959606 0.976009 NaN NaN

30 0.907874 0.914213 0.964195 0.985642 NaN NaN

31 0.899014 0.901763 0.964626 0.985551 NaN NaN

32 0.910555 0.930298 0.96424 0.985187 NaN NaN

33 0.910782 0.917757 0.961469 0.980825 NaN NaN

34 0.8999 0.917666 0.964967 0.985369 NaN NaN

35 0.899855 0.914577 0.970306 0.98655 NaN NaN

36 0.902854 0.916031 0.967489 0.978281 NaN NaN

37 0.900536 0.913304 0.972146 0.987913 NaN NaN

38 0.903921 0.91803 0.968284 0.985642 NaN NaN

39 0.905693 0.919302 0.966898 0.987005 NaN NaN

evaluating on test set...

Accuracy on test images: 0.974827

epoch 3 accuracy on test set is: 0.9748273355143584

evaluating on test set takes 17 seconds.

shallow_train shallow_test scratch_train scratch_test deep_train deep_test

0 0.849396 0.875682 0.277854 0.251999 0.923823 0.943384

1 0.868889 0.891948 0.473737 0.542803 0.934456 0.956379

2 0.877249 0.90976 0.651877 0.724555 0.943725 0.96883

3 0.883224 0.89522 0.742321 0.83197 0.952699 0.974827

4 0.883679 0.908033 0.776081 0.848419 NaN NaN

5 0.894311 0.913304 0.830153 0.892857 NaN NaN

6 0.897492 0.917212 0.839399 0.894039 NaN NaN

7 0.88979 0.907306 0.869706 0.914304 NaN NaN

8 0.889427 0.907034 0.882656 0.925391 NaN NaN

9 0.890722 0.906307 0.903194 0.951018 NaN NaN

10 0.896924 0.902308 0.910305 0.941567 NaN NaN

11 0.884996 0.895856 0.919257 0.959833 NaN NaN

12 0.898628 0.925754 0.923687 0.96365 NaN NaN

13 0.901808 0.914667 0.934115 0.961923 NaN NaN

14 0.896356 0.921756 0.928253 0.96365 NaN NaN

15 0.903694 0.921392 0.936796 0.96574 NaN NaN

16 0.903967 0.917121 0.942794 0.970102 NaN NaN

17 0.899696 0.916303 0.944089 0.969829 NaN NaN

18 0.900695 0.923391 0.94293 0.972465 NaN NaN

19 0.903512 0.913577 0.949041 0.973646 NaN NaN

20 0.900127 0.922483 0.949677 0.973101 NaN NaN

21 0.895265 0.915485 0.935751 0.955107 NaN NaN

22 0.90274 0.92012 0.952449 0.973646 NaN NaN

23 0.904966 0.917757 0.953085 0.97619 NaN NaN

24 0.905852 0.929844 0.958879 0.979916 NaN NaN

25 0.898878 0.91285 0.959333 0.980189 NaN NaN

26 0.906761 0.915394 0.960492 0.977463 NaN NaN

27 0.904444 0.911759 0.966058 0.984824 NaN NaN

28 0.905103 0.922846 0.957425 0.976372 NaN NaN

29 0.908806 0.92112 0.959606 0.976009 NaN NaN

30 0.907874 0.914213 0.964195 0.985642 NaN NaN

31 0.899014 0.901763 0.964626 0.985551 NaN NaN

32 0.910555 0.930298 0.96424 0.985187 NaN NaN

33 0.910782 0.917757 0.961469 0.980825 NaN NaN

34 0.8999 0.917666 0.964967 0.985369 NaN NaN

35 0.899855 0.914577 0.970306 0.98655 NaN NaN

36 0.902854 0.916031 0.967489 0.978281 NaN NaN

37 0.900536 0.913304 0.972146 0.987913 NaN NaN

38 0.903921 0.91803 0.968284 0.985642 NaN NaN

39 0.905693 0.919302 0.966898 0.987005 NaN NaN

epoch 3 takes 353 seconds.

[5, 30] loss: 0.186

[5, 60] loss: 0.167

[5, 90] loss: 0.205

[5, 120] loss: 0.167

[5, 150] loss: 0.184

[5, 180] loss: 0.224

[5, 210] loss: 0.169

[5, 240] loss: 0.184

[5, 270] loss: 0.198

[5, 300] loss: 0.168

[5, 330] loss: 0.206

[5, 360] loss: 0.171

[5, 390] loss: 0.134

[5, 420] loss: 0.154

[5, 450] loss: 0.161

[5, 480] loss: 0.158

[5, 510] loss: 0.183

[5, 540] loss: 0.138

[5, 570] loss: 0.124

[5, 600] loss: 0.173

[5, 630] loss: 0.122

[5, 660] loss: 0.089

[5, 690] loss: 0.178

[5, 720] loss: 0.157

[5, 750] loss: 0.175

[5, 780] loss: 0.136

[5, 810] loss: 0.158

[5, 840] loss: 0.200

[5, 870] loss: 0.105

[5, 900] loss: 0.128

[5, 930] loss: 0.131

[5, 960] loss: 0.189

[5, 990] loss: 0.163

[5, 1020] loss: 0.162

[5, 1050] loss: 0.163

[5, 1080] loss: 0.190

[5, 1110] loss: 0.159

[5, 1140] loss: 0.169

[5, 1170] loss: 0.139

[5, 1200] loss: 0.142

[5, 1230] loss: 0.223

[5, 1260] loss: 0.135

[5, 1290] loss: 0.175

[5, 1320] loss: 0.213

[5, 1350] loss: 0.193

[5, 1380] loss: 0.117

[5, 1410] loss: 0.156

[5, 1440] loss: 0.179

[5, 1470] loss: 0.152

[5, 1500] loss: 0.196

[5, 1530] loss: 0.167

[5, 1560] loss: 0.145

[5, 1590] loss: 0.156

[5, 1620] loss: 0.159

[5, 1650] loss: 0.218

[5, 1680] loss: 0.147

[5, 1710] loss: 0.140

[5, 1740] loss: 0.198

[5, 1770] loss: 0.129

[5, 1800] loss: 0.132

[5, 1830] loss: 0.177

[5, 1860] loss: 0.154

[5, 1890] loss: 0.154

[5, 1920] loss: 0.158

[5, 1950] loss: 0.177

[5, 1980] loss: 0.157

[5, 2010] loss: 0.160

[5, 2040] loss: 0.146

[5, 2070] loss: 0.095

[5, 2100] loss: 0.164

[5, 2130] loss: 0.104

[5, 2160] loss: 0.151

[5, 2190] loss: 0.156

ovft_intermediate_models/epoch4_deep.pt saved.


evaluating on training set...

Accuracy on test images: 0.961900

epoch 4 accuracy on train set is: 0.9619002181025081

evaluating on training set takes 68 seconds.

shallow_train shallow_test scratch_train scratch_test deep_train deep_test

0 0.849396 0.875682 0.277854 0.251999 0.923823 0.943384

1 0.868889 0.891948 0.473737 0.542803 0.934456 0.956379

2 0.877249 0.90976 0.651877 0.724555 0.943725 0.96883

3 0.883224 0.89522 0.742321 0.83197 0.952699 0.974827

4 0.883679 0.908033 0.776081 0.848419 0.9619 NaN

5 0.894311 0.913304 0.830153 0.892857 NaN NaN

6 0.897492 0.917212 0.839399 0.894039 NaN NaN

7 0.88979 0.907306 0.869706 0.914304 NaN NaN

8 0.889427 0.907034 0.882656 0.925391 NaN NaN

9 0.890722 0.906307 0.903194 0.951018 NaN NaN

10 0.896924 0.902308 0.910305 0.941567 NaN NaN

11 0.884996 0.895856 0.919257 0.959833 NaN NaN

12 0.898628 0.925754 0.923687 0.96365 NaN NaN

13 0.901808 0.914667 0.934115 0.961923 NaN NaN

14 0.896356 0.921756 0.928253 0.96365 NaN NaN

15 0.903694 0.921392 0.936796 0.96574 NaN NaN

16 0.903967 0.917121 0.942794 0.970102 NaN NaN

17 0.899696 0.916303 0.944089 0.969829 NaN NaN

18 0.900695 0.923391 0.94293 0.972465 NaN NaN

19 0.903512 0.913577 0.949041 0.973646 NaN NaN

20 0.900127 0.922483 0.949677 0.973101 NaN NaN

21 0.895265 0.915485 0.935751 0.955107 NaN NaN

22 0.90274 0.92012 0.952449 0.973646 NaN NaN

23 0.904966 0.917757 0.953085 0.97619 NaN NaN

24 0.905852 0.929844 0.958879 0.979916 NaN NaN

25 0.898878 0.91285 0.959333 0.980189 NaN NaN

26 0.906761 0.915394 0.960492 0.977463 NaN NaN

27 0.904444 0.911759 0.966058 0.984824 NaN NaN

28 0.905103 0.922846 0.957425 0.976372 NaN NaN

29 0.908806 0.92112 0.959606 0.976009 NaN NaN

30 0.907874 0.914213 0.964195 0.985642 NaN NaN

31 0.899014 0.901763 0.964626 0.985551 NaN NaN

32 0.910555 0.930298 0.96424 0.985187 NaN NaN

33 0.910782 0.917757 0.961469 0.980825 NaN NaN

34 0.8999 0.917666 0.964967 0.985369 NaN NaN

35 0.899855 0.914577 0.970306 0.98655 NaN NaN

36 0.902854 0.916031 0.967489 0.978281 NaN NaN

37 0.900536 0.913304 0.972146 0.987913 NaN NaN

38 0.903921 0.91803 0.968284 0.985642 NaN NaN

39 0.905693 0.919302 0.966898 0.987005 NaN NaN

evaluating on test set...

Accuracy on test images: 0.977735

epoch 4 accuracy on test set is: 0.977735368956743

evaluating on test set takes 17 seconds.

shallow_train shallow_test scratch_train scratch_test deep_train deep_test

0 0.849396 0.875682 0.277854 0.251999 0.923823 0.943384

1 0.868889 0.891948 0.473737 0.542803 0.934456 0.956379

2 0.877249 0.90976 0.651877 0.724555 0.943725 0.96883

3 0.883224 0.89522 0.742321 0.83197 0.952699 0.974827

4 0.883679 0.908033 0.776081 0.848419 0.9619 0.977735

5 0.894311 0.913304 0.830153 0.892857 NaN NaN

6 0.897492 0.917212 0.839399 0.894039 NaN NaN

7 0.88979 0.907306 0.869706 0.914304 NaN NaN

8 0.889427 0.907034 0.882656 0.925391 NaN NaN

9 0.890722 0.906307 0.903194 0.951018 NaN NaN

10 0.896924 0.902308 0.910305 0.941567 NaN NaN

11 0.884996 0.895856 0.919257 0.959833 NaN NaN

12 0.898628 0.925754 0.923687 0.96365 NaN NaN

13 0.901808 0.914667 0.934115 0.961923 NaN NaN

14 0.896356 0.921756 0.928253 0.96365 NaN NaN

15 0.903694 0.921392 0.936796 0.96574 NaN NaN

16 0.903967 0.917121 0.942794 0.970102 NaN NaN

17 0.899696 0.916303 0.944089 0.969829 NaN NaN

18 0.900695 0.923391 0.94293 0.972465 NaN NaN

19 0.903512 0.913577 0.949041 0.973646 NaN NaN

20 0.900127 0.922483 0.949677 0.973101 NaN NaN

21 0.895265 0.915485 0.935751 0.955107 NaN NaN

22 0.90274 0.92012 0.952449 0.973646 NaN NaN

23 0.904966 0.917757 0.953085 0.97619 NaN NaN

24 0.905852 0.929844 0.958879 0.979916 NaN NaN

25 0.898878 0.91285 0.959333 0.980189 NaN NaN

26 0.906761 0.915394 0.960492 0.977463 NaN NaN

27 0.904444 0.911759 0.966058 0.984824 NaN NaN

28 0.905103 0.922846 0.957425 0.976372 NaN NaN

29 0.908806 0.92112 0.959606 0.976009 NaN NaN

30 0.907874 0.914213 0.964195 0.985642 NaN NaN

31 0.899014 0.901763 0.964626 0.985551 NaN NaN

32 0.910555 0.930298 0.96424 0.985187 NaN NaN

33 0.910782 0.917757 0.961469 0.980825 NaN NaN

34 0.8999 0.917666 0.964967 0.985369 NaN NaN

35 0.899855 0.914577 0.970306 0.98655 NaN NaN

36 0.902854 0.916031 0.967489 0.978281 NaN NaN

37 0.900536 0.913304 0.972146 0.987913 NaN NaN

38 0.903921 0.91803 0.968284 0.985642 NaN NaN

39 0.905693 0.919302 0.966898 0.987005 NaN NaN

epoch 4 takes 353 seconds.

[6, 30] loss: 0.121

[6, 60] loss: 0.168

[6, 90] loss: 0.176

[6, 120] loss: 0.169

[6, 150] loss: 0.100

[6, 180] loss: 0.142

[6, 210] loss: 0.157

[6, 240] loss: 0.204

[6, 270] loss: 0.151

[6, 300] loss: 0.145

[6, 330] loss: 0.191

[6, 360] loss: 0.132

[6, 390] loss: 0.119

[6, 420] loss: 0.148

[6, 450] loss: 0.117

[6, 480] loss: 0.145

[6, 510] loss: 0.130

[6, 540] loss: 0.116

[6, 570] loss: 0.140

[6, 600] loss: 0.152

[6, 630] loss: 0.160

[6, 660] loss: 0.169

[6, 690] loss: 0.177

[6, 720] loss: 0.141

[6, 750] loss: 0.140

[6, 780] loss: 0.152

[6, 810] loss: 0.142

[6, 840] loss: 0.176

[6, 870] loss: 0.145

[6, 900] loss: 0.125

[6, 930] loss: 0.173

[6, 960] loss: 0.186

[6, 990] loss: 0.152

[6, 1020] loss: 0.166

[6, 1050] loss: 0.156

[6, 1080] loss: 0.127

[6, 1110] loss: 0.198

[6, 1140] loss: 0.120

[6, 1170] loss: 0.179

[6, 1200] loss: 0.137

[6, 1230] loss: 0.162

[6, 1260] loss: 0.141

[6, 1290] loss: 0.139

[6, 1320] loss: 0.145

[6, 1350] loss: 0.189

[6, 1380] loss: 0.185

[6, 1410] loss: 0.146

[6, 1440] loss: 0.160

[6, 1470] loss: 0.145

[6, 1500] loss: 0.196

[6, 1530] loss: 0.170

[6, 1560] loss: 0.134

[6, 1590] loss: 0.169

[6, 1620] loss: 0.141

[6, 1650] loss: 0.164

[6, 1680] loss: 0.150

[6, 1710] loss: 0.158

[6, 1740] loss: 0.135

[6, 1770] loss: 0.152

[6, 1800] loss: 0.132

[6, 1830] loss: 0.153

[6, 1860] loss: 0.168

[6, 1890] loss: 0.173

[6, 1920] loss: 0.166

[6, 1950] loss: 0.178

[6, 1980] loss: 0.163

[6, 2010] loss: 0.140

[6, 2040] loss: 0.113

[6, 2070] loss: 0.136

[6, 2100] loss: 0.145

[6, 2130] loss: 0.121

[6, 2160] loss: 0.094

[6, 2190] loss: 0.139

ovft_intermediate_models/epoch5_deep.pt saved.


evaluating on training set...

Accuracy on test images: 0.968511

epoch 5 accuracy on train set is: 0.9685114503816794

evaluating on training set takes 68 seconds.

shallow_train shallow_test scratch_train scratch_test deep_train deep_test

0 0.849396 0.875682 0.277854 0.251999 0.923823 0.943384

1 0.868889 0.891948 0.473737 0.542803 0.934456 0.956379

2 0.877249 0.90976 0.651877 0.724555 0.943725 0.96883

3 0.883224 0.89522 0.742321 0.83197 0.952699 0.974827

4 0.883679 0.908033 0.776081 0.848419 0.9619 0.977735

5 0.894311 0.913304 0.830153 0.892857 0.968511 NaN

6 0.897492 0.917212 0.839399 0.894039 NaN NaN

7 0.88979 0.907306 0.869706 0.914304 NaN NaN

8 0.889427 0.907034 0.882656 0.925391 NaN NaN

9 0.890722 0.906307 0.903194 0.951018 NaN NaN

10 0.896924 0.902308 0.910305 0.941567 NaN NaN

11 0.884996 0.895856 0.919257 0.959833 NaN NaN

12 0.898628 0.925754 0.923687 0.96365 NaN NaN

13 0.901808 0.914667 0.934115 0.961923 NaN NaN

14 0.896356 0.921756 0.928253 0.96365 NaN NaN

15 0.903694 0.921392 0.936796 0.96574 NaN NaN

16 0.903967 0.917121 0.942794 0.970102 NaN NaN

17 0.899696 0.916303 0.944089 0.969829 NaN NaN

18 0.900695 0.923391 0.94293 0.972465 NaN NaN

19 0.903512 0.913577 0.949041 0.973646 NaN NaN

20 0.900127 0.922483 0.949677 0.973101 NaN NaN

21 0.895265 0.915485 0.935751 0.955107 NaN NaN

22 0.90274 0.92012 0.952449 0.973646 NaN NaN

23 0.904966 0.917757 0.953085 0.97619 NaN NaN

24 0.905852 0.929844 0.958879 0.979916 NaN NaN

25 0.898878 0.91285 0.959333 0.980189 NaN NaN

26 0.906761 0.915394 0.960492 0.977463 NaN NaN

27 0.904444 0.911759 0.966058 0.984824 NaN NaN

28 0.905103 0.922846 0.957425 0.976372 NaN NaN

29 0.908806 0.92112 0.959606 0.976009 NaN NaN

30 0.907874 0.914213 0.964195 0.985642 NaN NaN

31 0.899014 0.901763 0.964626 0.985551 NaN NaN

32 0.910555 0.930298 0.96424 0.985187 NaN NaN

33 0.910782 0.917757 0.961469 0.980825 NaN NaN

34 0.8999 0.917666 0.964967 0.985369 NaN NaN

35 0.899855 0.914577 0.970306 0.98655 NaN NaN

36 0.902854 0.916031 0.967489 0.978281 NaN NaN

37 0.900536 0.913304 0.972146 0.987913 NaN NaN

38 0.903921 0.91803 0.968284 0.985642 NaN NaN

39 0.905693 0.919302 0.966898 0.987005 NaN NaN

evaluating on test set...

Accuracy on test images: 0.980189

epoch 5 accuracy on test set is: 0.980189022173755

evaluating on test set takes 17 seconds.

shallow_train shallow_test scratch_train scratch_test deep_train deep_test

0 0.849396 0.875682 0.277854 0.251999 0.923823 0.943384

1 0.868889 0.891948 0.473737 0.542803 0.934456 0.956379

2 0.877249 0.90976 0.651877 0.724555 0.943725 0.96883

3 0.883224 0.89522 0.742321 0.83197 0.952699 0.974827

4 0.883679 0.908033 0.776081 0.848419 0.9619 0.977735

5 0.894311 0.913304 0.830153 0.892857 0.968511 0.980189

6 0.897492 0.917212 0.839399 0.894039 NaN NaN

7 0.88979 0.907306 0.869706 0.914304 NaN NaN

8 0.889427 0.907034 0.882656 0.925391 NaN NaN

9 0.890722 0.906307 0.903194 0.951018 NaN NaN

10 0.896924 0.902308 0.910305 0.941567 NaN NaN

11 0.884996 0.895856 0.919257 0.959833 NaN NaN

12 0.898628 0.925754 0.923687 0.96365 NaN NaN

13 0.901808 0.914667 0.934115 0.961923 NaN NaN

14 0.896356 0.921756 0.928253 0.96365 NaN NaN

15 0.903694 0.921392 0.936796 0.96574 NaN NaN

16 0.903967 0.917121 0.942794 0.970102 NaN NaN

17 0.899696 0.916303 0.944089 0.969829 NaN NaN

18 0.900695 0.923391 0.94293 0.972465 NaN NaN

19 0.903512 0.913577 0.949041 0.973646 NaN NaN

20 0.900127 0.922483 0.949677 0.973101 NaN NaN

21 0.895265 0.915485 0.935751 0.955107 NaN NaN

22 0.90274 0.92012 0.952449 0.973646 NaN NaN

23 0.904966 0.917757 0.953085 0.97619 NaN NaN

24 0.905852 0.929844 0.958879 0.979916 NaN NaN

25 0.898878 0.91285 0.959333 0.980189 NaN NaN

26 0.906761 0.915394 0.960492 0.977463 NaN NaN

27 0.904444 0.911759 0.966058 0.984824 NaN NaN

28 0.905103 0.922846 0.957425 0.976372 NaN NaN

29 0.908806 0.92112 0.959606 0.976009 NaN NaN

30 0.907874 0.914213 0.964195 0.985642 NaN NaN

31 0.899014 0.901763 0.964626 0.985551 NaN NaN

32 0.910555 0.930298 0.96424 0.985187 NaN NaN

33 0.910782 0.917757 0.961469 0.980825 NaN NaN

34 0.8999 0.917666 0.964967 0.985369 NaN NaN

35 0.899855 0.914577 0.970306 0.98655 NaN NaN

36 0.902854 0.916031 0.967489 0.978281 NaN NaN

37 0.900536 0.913304 0.972146 0.987913 NaN NaN

38 0.903921 0.91803 0.968284 0.985642 NaN NaN

39 0.905693 0.919302 0.966898 0.987005 NaN NaN

epoch 5 takes 352 seconds.

[7, 30] loss: 0.168

[7, 60] loss: 0.138

[7, 90] loss: 0.127

[7, 120] loss: 0.128

[7, 150] loss: 0.107

[7, 180] loss: 0.124

[7, 210] loss: 0.128

[7, 240] loss: 0.116

[7, 270] loss: 0.138

[7, 300] loss: 0.146

[7, 330] loss: 0.218

[7, 360] loss: 0.168

[7, 390] loss: 0.138

[7, 420] loss: 0.129

[7, 450] loss: 0.149

[7, 480] loss: 0.136

[7, 510] loss: 0.142

[7, 540] loss: 0.127

[7, 570] loss: 0.120

[7, 600] loss: 0.132

[7, 630] loss: 0.129

[7, 660] loss: 0.142

[7, 690] loss: 0.175

[7, 720] loss: 0.181

[7, 750] loss: 0.122

[7, 780] loss: 0.146

[7, 810] loss: 0.169

[7, 840] loss: 0.098

[7, 870] loss: 0.114

[7, 900] loss: 0.165

[7, 930] loss: 0.094

[7, 960] loss: 0.177

[7, 990] loss: 0.133

[7, 1020] loss: 0.129

[7, 1050] loss: 0.195

[7, 1080] loss: 0.163

[7, 1110] loss: 0.116

[7, 1140] loss: 0.176

[7, 1170] loss: 0.200

[7, 1200] loss: 0.122

[7, 1230] loss: 0.163

[7, 1260] loss: 0.144

[7, 1290] loss: 0.151

[7, 1320] loss: 0.115

[7, 1350] loss: 0.146

[7, 1380] loss: 0.163

[7, 1410] loss: 0.085

[7, 1440] loss: 0.137

[7, 1470] loss: 0.175

[7, 1500] loss: 0.097

[7, 1530] loss: 0.123

[7, 1560] loss: 0.130

[7, 1590] loss: 0.087

[7, 1620] loss: 0.092

[7, 1650] loss: 0.193

[7, 1680] loss: 0.160

[7, 1710] loss: 0.196

[7, 1740] loss: 0.136

[7, 1770] loss: 0.121

[7, 1800] loss: 0.212

[7, 1830] loss: 0.130

[7, 1860] loss: 0.123

[7, 1890] loss: 0.176

[7, 1920] loss: 0.193

[7, 1950] loss: 0.092

[7, 1980] loss: 0.124

[7, 2010] loss: 0.121

[7, 2040] loss: 0.157

[7, 2070] loss: 0.105

[7, 2100] loss: 0.117

[7, 2130] loss: 0.127

[7, 2160] loss: 0.137

[7, 2190] loss: 0.184

ovft_intermediate_models/epoch6_deep.pt saved.


evaluating on training set...

Accuracy on test images: 0.963104

epoch 6 accuracy on train set is: 0.9631043256997456

evaluating on training set takes 68 seconds.

shallow_train shallow_test scratch_train scratch_test deep_train deep_test

0 0.849396 0.875682 0.277854 0.251999 0.923823 0.943384

1 0.868889 0.891948 0.473737 0.542803 0.934456 0.956379

2 0.877249 0.90976 0.651877 0.724555 0.943725 0.96883

3 0.883224 0.89522 0.742321 0.83197 0.952699 0.974827

4 0.883679 0.908033 0.776081 0.848419 0.9619 0.977735

5 0.894311 0.913304 0.830153 0.892857 0.968511 0.980189

6 0.897492 0.917212 0.839399 0.894039 0.963104 NaN

7 0.88979 0.907306 0.869706 0.914304 NaN NaN

8 0.889427 0.907034 0.882656 0.925391 NaN NaN

9 0.890722 0.906307 0.903194 0.951018 NaN NaN

10 0.896924 0.902308 0.910305 0.941567 NaN NaN

11 0.884996 0.895856 0.919257 0.959833 NaN NaN

12 0.898628 0.925754 0.923687 0.96365 NaN NaN

13 0.901808 0.914667 0.934115 0.961923 NaN NaN

14 0.896356 0.921756 0.928253 0.96365 NaN NaN

15 0.903694 0.921392 0.936796 0.96574 NaN NaN

16 0.903967 0.917121 0.942794 0.970102 NaN NaN

17 0.899696 0.916303 0.944089 0.969829 NaN NaN

18 0.900695 0.923391 0.94293 0.972465 NaN NaN

19 0.903512 0.913577 0.949041 0.973646 NaN NaN

20 0.900127 0.922483 0.949677 0.973101 NaN NaN

21 0.895265 0.915485 0.935751 0.955107 NaN NaN

22 0.90274 0.92012 0.952449 0.973646 NaN NaN

23 0.904966 0.917757 0.953085 0.97619 NaN NaN

24 0.905852 0.929844 0.958879 0.979916 NaN NaN

25 0.898878 0.91285 0.959333 0.980189 NaN NaN

26 0.906761 0.915394 0.960492 0.977463 NaN NaN

27 0.904444 0.911759 0.966058 0.984824 NaN NaN

28 0.905103 0.922846 0.957425 0.976372 NaN NaN

29 0.908806 0.92112 0.959606 0.976009 NaN NaN

30 0.907874 0.914213 0.964195 0.985642 NaN NaN

31 0.899014 0.901763 0.964626 0.985551 NaN NaN

32 0.910555 0.930298 0.96424 0.985187 NaN NaN

33 0.910782 0.917757 0.961469 0.980825 NaN NaN

34 0.8999 0.917666 0.964967 0.985369 NaN NaN

35 0.899855 0.914577 0.970306 0.98655 NaN NaN

36 0.902854 0.916031 0.967489 0.978281 NaN NaN

37 0.900536 0.913304 0.972146 0.987913 NaN NaN

38 0.903921 0.91803 0.968284 0.985642 NaN NaN

39 0.905693 0.919302 0.966898 0.987005 NaN NaN

evaluating on test set...

Accuracy on test images: 0.977281

epoch 6 accuracy on test set is: 0.9772809887313704

evaluating on test set takes 17 seconds.

shallow_train shallow_test scratch_train scratch_test deep_train deep_test

0 0.849396 0.875682 0.277854 0.251999 0.923823 0.943384

1 0.868889 0.891948 0.473737 0.542803 0.934456 0.956379

2 0.877249 0.90976 0.651877 0.724555 0.943725 0.96883

3 0.883224 0.89522 0.742321 0.83197 0.952699 0.974827

4 0.883679 0.908033 0.776081 0.848419 0.9619 0.977735

5 0.894311 0.913304 0.830153 0.892857 0.968511 0.980189

6 0.897492 0.917212 0.839399 0.894039 0.963104 0.977281

7 0.88979 0.907306 0.869706 0.914304 NaN NaN

8 0.889427 0.907034 0.882656 0.925391 NaN NaN

9 0.890722 0.906307 0.903194 0.951018 NaN NaN

10 0.896924 0.902308 0.910305 0.941567 NaN NaN

11 0.884996 0.895856 0.919257 0.959833 NaN NaN

12 0.898628 0.925754 0.923687 0.96365 NaN NaN

13 0.901808 0.914667 0.934115 0.961923 NaN NaN

14 0.896356 0.921756 0.928253 0.96365 NaN NaN

15 0.903694 0.921392 0.936796 0.96574 NaN NaN

16 0.903967 0.917121 0.942794 0.970102 NaN NaN

17 0.899696 0.916303 0.944089 0.969829 NaN NaN

18 0.900695 0.923391 0.94293 0.972465 NaN NaN

19 0.903512 0.913577 0.949041 0.973646 NaN NaN

20 0.900127 0.922483 0.949677 0.973101 NaN NaN

21 0.895265 0.915485 0.935751 0.955107 NaN NaN

22 0.90274 0.92012 0.952449 0.973646 NaN NaN

23 0.904966 0.917757 0.953085 0.97619 NaN NaN

24 0.905852 0.929844 0.958879 0.979916 NaN NaN

25 0.898878 0.91285 0.959333 0.980189 NaN NaN

26 0.906761 0.915394 0.960492 0.977463 NaN NaN

27 0.904444 0.911759 0.966058 0.984824 NaN NaN

28 0.905103 0.922846 0.957425 0.976372 NaN NaN

29 0.908806 0.92112 0.959606 0.976009 NaN NaN

30 0.907874 0.914213 0.964195 0.985642 NaN NaN

31 0.899014 0.901763 0.964626 0.985551 NaN NaN

32 0.910555 0.930298 0.96424 0.985187 NaN NaN

33 0.910782 0.917757 0.961469 0.980825 NaN NaN

34 0.8999 0.917666 0.964967 0.985369 NaN NaN

35 0.899855 0.914577 0.970306 0.98655 NaN NaN

36 0.902854 0.916031 0.967489 0.978281 NaN NaN

37 0.900536 0.913304 0.972146 0.987913 NaN NaN

38 0.903921 0.91803 0.968284 0.985642 NaN NaN

39 0.905693 0.919302 0.966898 0.987005 NaN NaN

epoch 6 takes 352 seconds.

[8, 30] loss: 0.133

[8, 60] loss: 0.103

[8, 90] loss: 0.116

[8, 120] loss: 0.145

[8, 150] loss: 0.151

[8, 180] loss: 0.206

[8, 210] loss: 0.169

[8, 240] loss: 0.103

[8, 270] loss: 0.094

[8, 300] loss: 0.118

[8, 330] loss: 0.139

[8, 360] loss: 0.092

[8, 390] loss: 0.130

[8, 420] loss: 0.163

[8, 450] loss: 0.099

[8, 480] loss: 0.156

[8, 510] loss: 0.134

[8, 540] loss: 0.119

[8, 570] loss: 0.130

[8, 600] loss: 0.096

[8, 630] loss: 0.112

[8, 660] loss: 0.141

[8, 690] loss: 0.107

[8, 720] loss: 0.154

[8, 750] loss: 0.116

[8, 780] loss: 0.130

[8, 810] loss: 0.144

[8, 840] loss: 0.165

[8, 870] loss: 0.120

[8, 900] loss: 0.176

[8, 930] loss: 0.096

[8, 960] loss: 0.109

[8, 990] loss: 0.171

[8, 1020] loss: 0.145

[8, 1050] loss: 0.121

[8, 1080] loss: 0.129

[8, 1110] loss: 0.125

[8, 1140] loss: 0.097

[8, 1170] loss: 0.124

[8, 1200] loss: 0.113

[8, 1230] loss: 0.114

[8, 1260] loss: 0.172

[8, 1290] loss: 0.112

[8, 1320] loss: 0.130

[8, 1350] loss: 0.146

[8, 1380] loss: 0.114

[8, 1410] loss: 0.120

[8, 1440] loss: 0.119

[8, 1470] loss: 0.134

[8, 1500] loss: 0.131

[8, 1530] loss: 0.127

[8, 1560] loss: 0.128

[8, 1590] loss: 0.151

[8, 1620] loss: 0.111

[8, 1650] loss: 0.210

[8, 1680] loss: 0.100

[8, 1710] loss: 0.099

[8, 1740] loss: 0.122

[8, 1770] loss: 0.145

[8, 1800] loss: 0.116

[8, 1830] loss: 0.115

[8, 1860] loss: 0.152

[8, 1890] loss: 0.140

[8, 1920] loss: 0.129

[8, 1950] loss: 0.119

[8, 1980] loss: 0.165

[8, 2010] loss: 0.140

[8, 2040] loss: 0.123

[8, 2070] loss: 0.139

[8, 2100] loss: 0.119

[8, 2130] loss: 0.104

[8, 2160] loss: 0.121

[8, 2190] loss: 0.156

ovft_intermediate_models/epoch7_deep.pt saved.


evaluating on training set...

Accuracy on test images: 0.965921

epoch 7 accuracy on train set is: 0.9659214830970556

evaluating on training set takes 68 seconds.

shallow_train shallow_test scratch_train scratch_test deep_train deep_test

0 0.849396 0.875682 0.277854 0.251999 0.923823 0.943384

1 0.868889 0.891948 0.473737 0.542803 0.934456 0.956379

2 0.877249 0.90976 0.651877 0.724555 0.943725 0.96883

3 0.883224 0.89522 0.742321 0.83197 0.952699 0.974827

4 0.883679 0.908033 0.776081 0.848419 0.9619 0.977735

5 0.894311 0.913304 0.830153 0.892857 0.968511 0.980189

6 0.897492 0.917212 0.839399 0.894039 0.963104 0.977281

7 0.88979 0.907306 0.869706 0.914304 0.965921 NaN

8 0.889427 0.907034 0.882656 0.925391 NaN NaN

9 0.890722 0.906307 0.903194 0.951018 NaN NaN

10 0.896924 0.902308 0.910305 0.941567 NaN NaN

11 0.884996 0.895856 0.919257 0.959833 NaN NaN

12 0.898628 0.925754 0.923687 0.96365 NaN NaN

13 0.901808 0.914667 0.934115 0.961923 NaN NaN

14 0.896356 0.921756 0.928253 0.96365 NaN NaN

15 0.903694 0.921392 0.936796 0.96574 NaN NaN

16 0.903967 0.917121 0.942794 0.970102 NaN NaN

17 0.899696 0.916303 0.944089 0.969829 NaN NaN

18 0.900695 0.923391 0.94293 0.972465 NaN NaN

19 0.903512 0.913577 0.949041 0.973646 NaN NaN

20 0.900127 0.922483 0.949677 0.973101 NaN NaN

21 0.895265 0.915485 0.935751 0.955107 NaN NaN

22 0.90274 0.92012 0.952449 0.973646 NaN NaN

23 0.904966 0.917757 0.953085 0.97619 NaN NaN

24 0.905852 0.929844 0.958879 0.979916 NaN NaN

25 0.898878 0.91285 0.959333 0.980189 NaN NaN

26 0.906761 0.915394 0.960492 0.977463 NaN NaN

27 0.904444 0.911759 0.966058 0.984824 NaN NaN

28 0.905103 0.922846 0.957425 0.976372 NaN NaN

29 0.908806 0.92112 0.959606 0.976009 NaN NaN

30 0.907874 0.914213 0.964195 0.985642 NaN NaN

31 0.899014 0.901763 0.964626 0.985551 NaN NaN

32 0.910555 0.930298 0.96424 0.985187 NaN NaN

33 0.910782 0.917757 0.961469 0.980825 NaN NaN

34 0.8999 0.917666 0.964967 0.985369 NaN NaN

35 0.899855 0.914577 0.970306 0.98655 NaN NaN

36 0.902854 0.916031 0.967489 0.978281 NaN NaN

37 0.900536 0.913304 0.972146 0.987913 NaN NaN

38 0.903921 0.91803 0.968284 0.985642 NaN NaN

39 0.905693 0.919302 0.966898 0.987005 NaN NaN

evaluating on test set...

Accuracy on test images: 0.978372

epoch 7 accuracy on test set is: 0.9783715012722646

evaluating on test set takes 17 seconds.

shallow_train shallow_test scratch_train scratch_test deep_train deep_test

0 0.849396 0.875682 0.277854 0.251999 0.923823 0.943384

1 0.868889 0.891948 0.473737 0.542803 0.934456 0.956379

2 0.877249 0.90976 0.651877 0.724555 0.943725 0.96883

3 0.883224 0.89522 0.742321 0.83197 0.952699 0.974827

4 0.883679 0.908033 0.776081 0.848419 0.9619 0.977735

5 0.894311 0.913304 0.830153 0.892857 0.968511 0.980189

6 0.897492 0.917212 0.839399 0.894039 0.963104 0.977281

7 0.88979 0.907306 0.869706 0.914304 0.965921 0.978372

8 0.889427 0.907034 0.882656 0.925391 NaN NaN

9 0.890722 0.906307 0.903194 0.951018 NaN NaN

10 0.896924 0.902308 0.910305 0.941567 NaN NaN

11 0.884996 0.895856 0.919257 0.959833 NaN NaN

12 0.898628 0.925754 0.923687 0.96365 NaN NaN

13 0.901808 0.914667 0.934115 0.961923 NaN NaN

14 0.896356 0.921756 0.928253 0.96365 NaN NaN

15 0.903694 0.921392 0.936796 0.96574 NaN NaN

16 0.903967 0.917121 0.942794 0.970102 NaN NaN

17 0.899696 0.916303 0.944089 0.969829 NaN NaN

18 0.900695 0.923391 0.94293 0.972465 NaN NaN

19 0.903512 0.913577 0.949041 0.973646 NaN NaN

20 0.900127 0.922483 0.949677 0.973101 NaN NaN

21 0.895265 0.915485 0.935751 0.955107 NaN NaN

22 0.90274 0.92012 0.952449 0.973646 NaN NaN

23 0.904966 0.917757 0.953085 0.97619 NaN NaN

24 0.905852 0.929844 0.958879 0.979916 NaN NaN

25 0.898878 0.91285 0.959333 0.980189 NaN NaN

26 0.906761 0.915394 0.960492 0.977463 NaN NaN

27 0.904444 0.911759 0.966058 0.984824 NaN NaN

28 0.905103 0.922846 0.957425 0.976372 NaN NaN

29 0.908806 0.92112 0.959606 0.976009 NaN NaN

30 0.907874 0.914213 0.964195 0.985642 NaN NaN

31 0.899014 0.901763 0.964626 0.985551 NaN NaN

32 0.910555 0.930298 0.96424 0.985187 NaN NaN

33 0.910782 0.917757 0.961469 0.980825 NaN NaN

34 0.8999 0.917666 0.964967 0.985369 NaN NaN

35 0.899855 0.914577 0.970306 0.98655 NaN NaN

36 0.902854 0.916031 0.967489 0.978281 NaN NaN

37 0.900536 0.913304 0.972146 0.987913 NaN NaN

38 0.903921 0.91803 0.968284 0.985642 NaN NaN

39 0.905693 0.919302 0.966898 0.987005 NaN NaN

epoch 7 takes 352 seconds.

[9, 30] loss: 0.107

[9, 60] loss: 0.126

[9, 90] loss: 0.133

[9, 120] loss: 0.120

[9, 150] loss: 0.127

[9, 180] loss: 0.147

[9, 210] loss: 0.121

[9, 240] loss: 0.100

[9, 270] loss: 0.091

[9, 300] loss: 0.103

[9, 330] loss: 0.114

[9, 360] loss: 0.131

[9, 390] loss: 0.158

[9, 420] loss: 0.105

[9, 450] loss: 0.074

[9, 480] loss: 0.092

[9, 510] loss: 0.157

[9, 540] loss: 0.149

[9, 570] loss: 0.114

[9, 600] loss: 0.113

[9, 630] loss: 0.136

[9, 660] loss: 0.130

[9, 690] loss: 0.089

[9, 720] loss: 0.100

[9, 750] loss: 0.183

[9, 780] loss: 0.096

[9, 810] loss: 0.123

[9, 840] loss: 0.184

[9, 870] loss: 0.110

[9, 900] loss: 0.161

[9, 930] loss: 0.128

[9, 960] loss: 0.120

[9, 990] loss: 0.134

[9, 1020] loss: 0.120

[9, 1050] loss: 0.176

[9, 1080] loss: 0.119

[9, 1110] loss: 0.143

[9, 1140] loss: 0.110

[9, 1170] loss: 0.137

[9, 1200] loss: 0.107

[9, 1230] loss: 0.126

[9, 1260] loss: 0.125

[9, 1290] loss: 0.097

[9, 1320] loss: 0.150

[9, 1350] loss: 0.123

[9, 1380] loss: 0.124

[9, 1410] loss: 0.100

[9, 1440] loss: 0.148

[9, 1470] loss: 0.122

[9, 1500] loss: 0.091

[9, 1530] loss: 0.197

[9, 1560] loss: 0.128

[9, 1590] loss: 0.076

[9, 1620] loss: 0.081

[9, 1650] loss: 0.119

[9, 1680] loss: 0.138

[9, 1710] loss: 0.151

[9, 1740] loss: 0.111

[9, 1770] loss: 0.105

[9, 1800] loss: 0.135

[9, 1830] loss: 0.138

[9, 1860] loss: 0.103

[9, 1890] loss: 0.168

[9, 1920] loss: 0.099

[9, 1950] loss: 0.151

[9, 1980] loss: 0.146

[9, 2010] loss: 0.095

[9, 2040] loss: 0.116

[9, 2070] loss: 0.122

[9, 2100] loss: 0.100

[9, 2130] loss: 0.106

[9, 2160] loss: 0.118

[9, 2190] loss: 0.118

ovft_intermediate_models/epoch8_deep.pt saved.


evaluating on training set...

Accuracy on test images: 0.973532

epoch 8 accuracy on train set is: 0.9735323518720466

evaluating on training set takes 68 seconds.

shallow_train shallow_test scratch_train scratch_test deep_train deep_test

0 0.849396 0.875682 0.277854 0.251999 0.923823 0.943384

1 0.868889 0.891948 0.473737 0.542803 0.934456 0.956379

2 0.877249 0.90976 0.651877 0.724555 0.943725 0.96883

3 0.883224 0.89522 0.742321 0.83197 0.952699 0.974827

4 0.883679 0.908033 0.776081 0.848419 0.9619 0.977735

5 0.894311 0.913304 0.830153 0.892857 0.968511 0.980189

6 0.897492 0.917212 0.839399 0.894039 0.963104 0.977281

7 0.88979 0.907306 0.869706 0.914304 0.965921 0.978372

8 0.889427 0.907034 0.882656 0.925391 0.973532 NaN

9 0.890722 0.906307 0.903194 0.951018 NaN NaN

10 0.896924 0.902308 0.910305 0.941567 NaN NaN

11 0.884996 0.895856 0.919257 0.959833 NaN NaN

12 0.898628 0.925754 0.923687 0.96365 NaN NaN

13 0.901808 0.914667 0.934115 0.961923 NaN NaN

14 0.896356 0.921756 0.928253 0.96365 NaN NaN

15 0.903694 0.921392 0.936796 0.96574 NaN NaN

16 0.903967 0.917121 0.942794 0.970102 NaN NaN

17 0.899696 0.916303 0.944089 0.969829 NaN NaN

18 0.900695 0.923391 0.94293 0.972465 NaN NaN

19 0.903512 0.913577 0.949041 0.973646 NaN NaN

20 0.900127 0.922483 0.949677 0.973101 NaN NaN

21 0.895265 0.915485 0.935751 0.955107 NaN NaN

22 0.90274 0.92012 0.952449 0.973646 NaN NaN

23 0.904966 0.917757 0.953085 0.97619 NaN NaN

24 0.905852 0.929844 0.958879 0.979916 NaN NaN

25 0.898878 0.91285 0.959333 0.980189 NaN NaN

26 0.906761 0.915394 0.960492 0.977463 NaN NaN

27 0.904444 0.911759 0.966058 0.984824 NaN NaN

28 0.905103 0.922846 0.957425 0.976372 NaN NaN

29 0.908806 0.92112 0.959606 0.976009 NaN NaN

30 0.907874 0.914213 0.964195 0.985642 NaN NaN

31 0.899014 0.901763 0.964626 0.985551 NaN NaN

32 0.910555 0.930298 0.96424 0.985187 NaN NaN

33 0.910782 0.917757 0.961469 0.980825 NaN NaN

34 0.8999 0.917666 0.964967 0.985369 NaN NaN

35 0.899855 0.914577 0.970306 0.98655 NaN NaN

36 0.902854 0.916031 0.967489 0.978281 NaN NaN

37 0.900536 0.913304 0.972146 0.987913 NaN NaN

38 0.903921 0.91803 0.968284 0.985642 NaN NaN

39 0.905693 0.919302 0.966898 0.987005 NaN NaN

evaluating on test set...

Accuracy on test images: 0.980734

epoch 8 accuracy on test set is: 0.9807342784442021

evaluating on test set takes 17 seconds.

shallow_train shallow_test scratch_train scratch_test deep_train deep_test

0 0.849396 0.875682 0.277854 0.251999 0.923823 0.943384

1 0.868889 0.891948 0.473737 0.542803 0.934456 0.956379

2 0.877249 0.90976 0.651877 0.724555 0.943725 0.96883

3 0.883224 0.89522 0.742321 0.83197 0.952699 0.974827

4 0.883679 0.908033 0.776081 0.848419 0.9619 0.977735

5 0.894311 0.913304 0.830153 0.892857 0.968511 0.980189

6 0.897492 0.917212 0.839399 0.894039 0.963104 0.977281

7 0.88979 0.907306 0.869706 0.914304 0.965921 0.978372

8 0.889427 0.907034 0.882656 0.925391 0.973532 0.980734

9 0.890722 0.906307 0.903194 0.951018 NaN NaN

10 0.896924 0.902308 0.910305 0.941567 NaN NaN

11 0.884996 0.895856 0.919257 0.959833 NaN NaN

12 0.898628 0.925754 0.923687 0.96365 NaN NaN

13 0.901808 0.914667 0.934115 0.961923 NaN NaN

14 0.896356 0.921756 0.928253 0.96365 NaN NaN

15 0.903694 0.921392 0.936796 0.96574 NaN NaN

16 0.903967 0.917121 0.942794 0.970102 NaN NaN

17 0.899696 0.916303 0.944089 0.969829 NaN NaN

18 0.900695 0.923391 0.94293 0.972465 NaN NaN

19 0.903512 0.913577 0.949041 0.973646 NaN NaN

20 0.900127 0.922483 0.949677 0.973101 NaN NaN

21 0.895265 0.915485 0.935751 0.955107 NaN NaN

22 0.90274 0.92012 0.952449 0.973646 NaN NaN

23 0.904966 0.917757 0.953085 0.97619 NaN NaN

24 0.905852 0.929844 0.958879 0.979916 NaN NaN

25 0.898878 0.91285 0.959333 0.980189 NaN NaN

26 0.906761 0.915394 0.960492 0.977463 NaN NaN

27 0.904444 0.911759 0.966058 0.984824 NaN NaN

28 0.905103 0.922846 0.957425 0.976372 NaN NaN

29 0.908806 0.92112 0.959606 0.976009 NaN NaN

30 0.907874 0.914213 0.964195 0.985642 NaN NaN

31 0.899014 0.901763 0.964626 0.985551 NaN NaN

32 0.910555 0.930298 0.96424 0.985187 NaN NaN

33 0.910782 0.917757 0.961469 0.980825 NaN NaN

34 0.8999 0.917666 0.964967 0.985369 NaN NaN

35 0.899855 0.914577 0.970306 0.98655 NaN NaN

36 0.902854 0.916031 0.967489 0.978281 NaN NaN

37 0.900536 0.913304 0.972146 0.987913 NaN NaN

38 0.903921 0.91803 0.968284 0.985642 NaN NaN

39 0.905693 0.919302 0.966898 0.987005 NaN NaN

epoch 8 takes 352 seconds.

[10, 30] loss: 0.103

[10, 60] loss: 0.139

[10, 90] loss: 0.148

[10, 120] loss: 0.112

[10, 150] loss: 0.127

[10, 180] loss: 0.121

[10, 210] loss: 0.118

[10, 240] loss: 0.096

[10, 270] loss: 0.134

[10, 300] loss: 0.090

[10, 330] loss: 0.115

[10, 360] loss: 0.145

[10, 390] loss: 0.116

[10, 420] loss: 0.141

[10, 450] loss: 0.118

[10, 480] loss: 0.094

[10, 510] loss: 0.113

[10, 540] loss: 0.087

[10, 570] loss: 0.076

[10, 600] loss: 0.086

[10, 630] loss: 0.083

[10, 660] loss: 0.099

[10, 690] loss: 0.105

[10, 720] loss: 0.088

[10, 750] loss: 0.136

[10, 780] loss: 0.106

[10, 810] loss: 0.224

[10, 840] loss: 0.106

[10, 870] loss: 0.090

[10, 900] loss: 0.120

[10, 930] loss: 0.147

[10, 960] loss: 0.133

[10, 990] loss: 0.116

[10, 1020] loss: 0.139

[10, 1050] loss: 0.116

[10, 1080] loss: 0.121

[10, 1110] loss: 0.145

[10, 1140] loss: 0.136

[10, 1170] loss: 0.135

[10, 1200] loss: 0.141

[10, 1230] loss: 0.136

[10, 1260] loss: 0.128

[10, 1290] loss: 0.108

[10, 1320] loss: 0.120

[10, 1350] loss: 0.083

[10, 1380] loss: 0.114

[10, 1410] loss: 0.104

[10, 1440] loss: 0.114

[10, 1470] loss: 0.140

[10, 1500] loss: 0.114

[10, 1530] loss: 0.091

[10, 1560] loss: 0.084

[10, 1590] loss: 0.092

[10, 1620] loss: 0.144

[10, 1650] loss: 0.140

[10, 1680] loss: 0.109

[10, 1710] loss: 0.083

[10, 1740] loss: 0.075

[10, 1770] loss: 0.109

[10, 1800] loss: 0.127

[10, 1830] loss: 0.143

[10, 1860] loss: 0.166

[10, 1890] loss: 0.089

[10, 1920] loss: 0.153

[10, 1950] loss: 0.147

[10, 1980] loss: 0.126

[10, 2010] loss: 0.101

[10, 2040] loss: 0.108

[10, 2070] loss: 0.120

[10, 2100] loss: 0.113

[10, 2130] loss: 0.112

[10, 2160] loss: 0.136

[10, 2190] loss: 0.091

ovft_intermediate_models/epoch9_deep.pt saved.


evaluating on training set...

Accuracy on test images: 0.975782

epoch 9 accuracy on train set is: 0.9757815339876409

evaluating on training set takes 68 seconds.

shallow_train shallow_test scratch_train scratch_test deep_train deep_test

0 0.849396 0.875682 0.277854 0.251999 0.923823 0.943384

1 0.868889 0.891948 0.473737 0.542803 0.934456 0.956379

2 0.877249 0.90976 0.651877 0.724555 0.943725 0.96883

3 0.883224 0.89522 0.742321 0.83197 0.952699 0.974827

4 0.883679 0.908033 0.776081 0.848419 0.9619 0.977735

5 0.894311 0.913304 0.830153 0.892857 0.968511 0.980189

6 0.897492 0.917212 0.839399 0.894039 0.963104 0.977281

7 0.88979 0.907306 0.869706 0.914304 0.965921 0.978372

8 0.889427 0.907034 0.882656 0.925391 0.973532 0.980734

9 0.890722 0.906307 0.903194 0.951018 0.975782 NaN

10 0.896924 0.902308 0.910305 0.941567 NaN NaN

11 0.884996 0.895856 0.919257 0.959833 NaN NaN

12 0.898628 0.925754 0.923687 0.96365 NaN NaN

13 0.901808 0.914667 0.934115 0.961923 NaN NaN

14 0.896356 0.921756 0.928253 0.96365 NaN NaN

15 0.903694 0.921392 0.936796 0.96574 NaN NaN

16 0.903967 0.917121 0.942794 0.970102 NaN NaN

17 0.899696 0.916303 0.944089 0.969829 NaN NaN

18 0.900695 0.923391 0.94293 0.972465 NaN NaN

19 0.903512 0.913577 0.949041 0.973646 NaN NaN

20 0.900127 0.922483 0.949677 0.973101 NaN NaN

21 0.895265 0.915485 0.935751 0.955107 NaN NaN

22 0.90274 0.92012 0.952449 0.973646 NaN NaN

23 0.904966 0.917757 0.953085 0.97619 NaN NaN

24 0.905852 0.929844 0.958879 0.979916 NaN NaN

25 0.898878 0.91285 0.959333 0.980189 NaN NaN

26 0.906761 0.915394 0.960492 0.977463 NaN NaN

27 0.904444 0.911759 0.966058 0.984824 NaN NaN

28 0.905103 0.922846 0.957425 0.976372 NaN NaN

29 0.908806 0.92112 0.959606 0.976009 NaN NaN

30 0.907874 0.914213 0.964195 0.985642 NaN NaN

31 0.899014 0.901763 0.964626 0.985551 NaN NaN

32 0.910555 0.930298 0.96424 0.985187 NaN NaN

33 0.910782 0.917757 0.961469 0.980825 NaN NaN

34 0.8999 0.917666 0.964967 0.985369 NaN NaN

35 0.899855 0.914577 0.970306 0.98655 NaN NaN

36 0.902854 0.916031 0.967489 0.978281 NaN NaN

37 0.900536 0.913304 0.972146 0.987913 NaN NaN

38 0.903921 0.91803 0.968284 0.985642 NaN NaN

39 0.905693 0.919302 0.966898 0.987005 NaN NaN

evaluating on test set...

Accuracy on test images: 0.987459

epoch 9 accuracy on test set is: 0.9874591057797165

evaluating on test set takes 17 seconds.

shallow_train shallow_test scratch_train scratch_test deep_train deep_test

0 0.849396 0.875682 0.277854 0.251999 0.923823 0.943384

1 0.868889 0.891948 0.473737 0.542803 0.934456 0.956379

2 0.877249 0.90976 0.651877 0.724555 0.943725 0.96883

3 0.883224 0.89522 0.742321 0.83197 0.952699 0.974827

4 0.883679 0.908033 0.776081 0.848419 0.9619 0.977735

5 0.894311 0.913304 0.830153 0.892857 0.968511 0.980189

6 0.897492 0.917212 0.839399 0.894039 0.963104 0.977281

7 0.88979 0.907306 0.869706 0.914304 0.965921 0.978372

8 0.889427 0.907034 0.882656 0.925391 0.973532 0.980734

9 0.890722 0.906307 0.903194 0.951018 0.975782 0.987459

10 0.896924 0.902308 0.910305 0.941567 NaN NaN

11 0.884996 0.895856 0.919257 0.959833 NaN NaN

12 0.898628 0.925754 0.923687 0.96365 NaN NaN

13 0.901808 0.914667 0.934115 0.961923 NaN NaN

14 0.896356 0.921756 0.928253 0.96365 NaN NaN

15 0.903694 0.921392 0.936796 0.96574 NaN NaN

16 0.903967 0.917121 0.942794 0.970102 NaN NaN

17 0.899696 0.916303 0.944089 0.969829 NaN NaN

18 0.900695 0.923391 0.94293 0.972465 NaN NaN

19 0.903512 0.913577 0.949041 0.973646 NaN NaN

20 0.900127 0.922483 0.949677 0.973101 NaN NaN

21 0.895265 0.915485 0.935751 0.955107 NaN NaN

22 0.90274 0.92012 0.952449 0.973646 NaN NaN

23 0.904966 0.917757 0.953085 0.97619 NaN NaN

24 0.905852 0.929844 0.958879 0.979916 NaN NaN

25 0.898878 0.91285 0.959333 0.980189 NaN NaN

26 0.906761 0.915394 0.960492 0.977463 NaN NaN

27 0.904444 0.911759 0.966058 0.984824 NaN NaN

28 0.905103 0.922846 0.957425 0.976372 NaN NaN

29 0.908806 0.92112 0.959606 0.976009 NaN NaN

30 0.907874 0.914213 0.964195 0.985642 NaN NaN

31 0.899014 0.901763 0.964626 0.985551 NaN NaN

32 0.910555 0.930298 0.96424 0.985187 NaN NaN

33 0.910782 0.917757 0.961469 0.980825 NaN NaN

34 0.8999 0.917666 0.964967 0.985369 NaN NaN

35 0.899855 0.914577 0.970306 0.98655 NaN NaN

36 0.902854 0.916031 0.967489 0.978281 NaN NaN

37 0.900536 0.913304 0.972146 0.987913 NaN NaN

38 0.903921 0.91803 0.968284 0.985642 NaN NaN

39 0.905693 0.919302 0.966898 0.987005 NaN NaN

epoch 9 takes 352 seconds.

[11, 30] loss: 0.120

[11, 60] loss: 0.125

[11, 90] loss: 0.107

[11, 120] loss: 0.088

[11, 150] loss: 0.088

[11, 180] loss: 0.117

[11, 210] loss: 0.099

[11, 240] loss: 0.083

[11, 270] loss: 0.097

[11, 300] loss: 0.103

[11, 330] loss: 0.113

[11, 360] loss: 0.090

[11, 390] loss: 0.102

[11, 420] loss: 0.095

[11, 450] loss: 0.104

[11, 480] loss: 0.087

[11, 510] loss: 0.123

[11, 540] loss: 0.154

[11, 570] loss: 0.101

[11, 600] loss: 0.106

[11, 630] loss: 0.104

[11, 660] loss: 0.169

[11, 690] loss: 0.126

[11, 720] loss: 0.084

[11, 750] loss: 0.108

[11, 780] loss: 0.117

[11, 810] loss: 0.091

[11, 840] loss: 0.117

[11, 870] loss: 0.120

[11, 900] loss: 0.152

[11, 930] loss: 0.152

[11, 960] loss: 0.127

[11, 990] loss: 0.132

[11, 1020] loss: 0.108

[11, 1050] loss: 0.117

[11, 1080] loss: 0.097

[11, 1110] loss: 0.056

[11, 1140] loss: 0.160

[11, 1170] loss: 0.085

[11, 1200] loss: 0.100

[11, 1230] loss: 0.124

[11, 1260] loss: 0.097

[11, 1290] loss: 0.085

[11, 1320] loss: 0.099

[11, 1350] loss: 0.114

[11, 1380] loss: 0.144

[11, 1410] loss: 0.124

[11, 1440] loss: 0.079

[11, 1470] loss: 0.157

[11, 1500] loss: 0.109

[11, 1530] loss: 0.136

[11, 1560] loss: 0.091

[11, 1590] loss: 0.114

[11, 1620] loss: 0.122

[11, 1650] loss: 0.121

[11, 1680] loss: 0.108

[11, 1710] loss: 0.139

[11, 1740] loss: 0.088

[11, 1770] loss: 0.145

[11, 1800] loss: 0.119

[11, 1830] loss: 0.103

[11, 1860] loss: 0.103

[11, 1890] loss: 0.077

[11, 1920] loss: 0.105

[11, 1950] loss: 0.074

[11, 1980] loss: 0.104

[11, 2010] loss: 0.121

[11, 2040] loss: 0.085

[11, 2070] loss: 0.129

[11, 2100] loss: 0.107

[11, 2130] loss: 0.120

[11, 2160] loss: 0.103

[11, 2190] loss: 0.105

ovft_intermediate_models/epoch10_deep.pt saved.


evaluating on training set...

Accuracy on test images: 0.971624

epoch 10 accuracy on train set is: 0.9716239549254816

evaluating on training set takes 68 seconds.

shallow_train shallow_test scratch_train scratch_test deep_train deep_test

0 0.849396 0.875682 0.277854 0.251999 0.923823 0.943384

1 0.868889 0.891948 0.473737 0.542803 0.934456 0.956379

2 0.877249 0.90976 0.651877 0.724555 0.943725 0.96883

3 0.883224 0.89522 0.742321 0.83197 0.952699 0.974827

4 0.883679 0.908033 0.776081 0.848419 0.9619 0.977735

5 0.894311 0.913304 0.830153 0.892857 0.968511 0.980189

6 0.897492 0.917212 0.839399 0.894039 0.963104 0.977281

7 0.88979 0.907306 0.869706 0.914304 0.965921 0.978372

8 0.889427 0.907034 0.882656 0.925391 0.973532 0.980734

9 0.890722 0.906307 0.903194 0.951018 0.975782 0.987459

10 0.896924 0.902308 0.910305 0.941567 0.971624 NaN

11 0.884996 0.895856 0.919257 0.959833 NaN NaN

12 0.898628 0.925754 0.923687 0.96365 NaN NaN

13 0.901808 0.914667 0.934115 0.961923 NaN NaN

14 0.896356 0.921756 0.928253 0.96365 NaN NaN

15 0.903694 0.921392 0.936796 0.96574 NaN NaN

16 0.903967 0.917121 0.942794 0.970102 NaN NaN

17 0.899696 0.916303 0.944089 0.969829 NaN NaN

18 0.900695 0.923391 0.94293 0.972465 NaN NaN

19 0.903512 0.913577 0.949041 0.973646 NaN NaN

20 0.900127 0.922483 0.949677 0.973101 NaN NaN

21 0.895265 0.915485 0.935751 0.955107 NaN NaN

22 0.90274 0.92012 0.952449 0.973646 NaN NaN

23 0.904966 0.917757 0.953085 0.97619 NaN NaN

24 0.905852 0.929844 0.958879 0.979916 NaN NaN

25 0.898878 0.91285 0.959333 0.980189 NaN NaN

26 0.906761 0.915394 0.960492 0.977463 NaN NaN

27 0.904444 0.911759 0.966058 0.984824 NaN NaN

28 0.905103 0.922846 0.957425 0.976372 NaN NaN

29 0.908806 0.92112 0.959606 0.976009 NaN NaN

30 0.907874 0.914213 0.964195 0.985642 NaN NaN

31 0.899014 0.901763 0.964626 0.985551 NaN NaN

32 0.910555 0.930298 0.96424 0.985187 NaN NaN

33 0.910782 0.917757 0.961469 0.980825 NaN NaN

34 0.8999 0.917666 0.964967 0.985369 NaN NaN

35 0.899855 0.914577 0.970306 0.98655 NaN NaN

36 0.902854 0.916031 0.967489 0.978281 NaN NaN

37 0.900536 0.913304 0.972146 0.987913 NaN NaN

38 0.903921 0.91803 0.968284 0.985642 NaN NaN

39 0.905693 0.919302 0.966898 0.987005 NaN NaN

evaluating on test set...

Accuracy on test images: 0.971374

epoch 10 accuracy on test set is: 0.9713740458015268

evaluating on test set takes 17 seconds.

shallow_train shallow_test scratch_train scratch_test deep_train deep_test

0 0.849396 0.875682 0.277854 0.251999 0.923823 0.943384

1 0.868889 0.891948 0.473737 0.542803 0.934456 0.956379

2 0.877249 0.90976 0.651877 0.724555 0.943725 0.96883

3 0.883224 0.89522 0.742321 0.83197 0.952699 0.974827

4 0.883679 0.908033 0.776081 0.848419 0.9619 0.977735

5 0.894311 0.913304 0.830153 0.892857 0.968511 0.980189

6 0.897492 0.917212 0.839399 0.894039 0.963104 0.977281

7 0.88979 0.907306 0.869706 0.914304 0.965921 0.978372

8 0.889427 0.907034 0.882656 0.925391 0.973532 0.980734

9 0.890722 0.906307 0.903194 0.951018 0.975782 0.987459

10 0.896924 0.902308 0.910305 0.941567 0.971624 0.971374

11 0.884996 0.895856 0.919257 0.959833 NaN NaN

12 0.898628 0.925754 0.923687 0.96365 NaN NaN

13 0.901808 0.914667 0.934115 0.961923 NaN NaN

14 0.896356 0.921756 0.928253 0.96365 NaN NaN

15 0.903694 0.921392 0.936796 0.96574 NaN NaN

16 0.903967 0.917121 0.942794 0.970102 NaN NaN

17 0.899696 0.916303 0.944089 0.969829 NaN NaN

18 0.900695 0.923391 0.94293 0.972465 NaN NaN

19 0.903512 0.913577 0.949041 0.973646 NaN NaN

20 0.900127 0.922483 0.949677 0.973101 NaN NaN

21 0.895265 0.915485 0.935751 0.955107 NaN NaN

22 0.90274 0.92012 0.952449 0.973646 NaN NaN

23 0.904966 0.917757 0.953085 0.97619 NaN NaN

24 0.905852 0.929844 0.958879 0.979916 NaN NaN

25 0.898878 0.91285 0.959333 0.980189 NaN NaN

26 0.906761 0.915394 0.960492 0.977463 NaN NaN

27 0.904444 0.911759 0.966058 0.984824 NaN NaN

28 0.905103 0.922846 0.957425 0.976372 NaN NaN

29 0.908806 0.92112 0.959606 0.976009 NaN NaN

30 0.907874 0.914213 0.964195 0.985642 NaN NaN

31 0.899014 0.901763 0.964626 0.985551 NaN NaN

32 0.910555 0.930298 0.96424 0.985187 NaN NaN

33 0.910782 0.917757 0.961469 0.980825 NaN NaN

34 0.8999 0.917666 0.964967 0.985369 NaN NaN

35 0.899855 0.914577 0.970306 0.98655 NaN NaN

36 0.902854 0.916031 0.967489 0.978281 NaN NaN

37 0.900536 0.913304 0.972146 0.987913 NaN NaN

38 0.903921 0.91803 0.968284 0.985642 NaN NaN

39 0.905693 0.919302 0.966898 0.987005 NaN NaN

epoch 10 takes 352 seconds.

[12, 30] loss: 0.111

[12, 60] loss: 0.109

[12, 90] loss: 0.137

[12, 120] loss: 0.105

[12, 150] loss: 0.089

[12, 180] loss: 0.112

[12, 210] loss: 0.151

[12, 240] loss: 0.089

[12, 270] loss: 0.140

[12, 300] loss: 0.100

[12, 330] loss: 0.146

[12, 360] loss: 0.108

[12, 390] loss: 0.107

[12, 420] loss: 0.109

[12, 450] loss: 0.088

[12, 480] loss: 0.093

[12, 510] loss: 0.119

[12, 540] loss: 0.068

[12, 570] loss: 0.113

[12, 600] loss: 0.142

[12, 630] loss: 0.111

[12, 660] loss: 0.092

[12, 690] loss: 0.075

[12, 720] loss: 0.074

[12, 750] loss: 0.095

[12, 780] loss: 0.131

[12, 810] loss: 0.066

[12, 840] loss: 0.112

[12, 870] loss: 0.087

[12, 900] loss: 0.098

[12, 930] loss: 0.135

[12, 960] loss: 0.103

[12, 990] loss: 0.096

[12, 1020] loss: 0.081

[12, 1050] loss: 0.124

[12, 1080] loss: 0.117

[12, 1110] loss: 0.083

[12, 1140] loss: 0.141

[12, 1170] loss: 0.136

[12, 1200] loss: 0.110

[12, 1230] loss: 0.115

[12, 1260] loss: 0.062

[12, 1290] loss: 0.085

[12, 1320] loss: 0.072

[12, 1350] loss: 0.125

[12, 1380] loss: 0.113

[12, 1410] loss: 0.097

[12, 1440] loss: 0.126

[12, 1470] loss: 0.096

[12, 1500] loss: 0.112

[12, 1530] loss: 0.099

[12, 1560] loss: 0.079

[12, 1590] loss: 0.110

[12, 1620] loss: 0.098

[12, 1650] loss: 0.101

[12, 1680] loss: 0.068

[12, 1710] loss: 0.111

[12, 1740] loss: 0.093

[12, 1770] loss: 0.072

[12, 1800] loss: 0.099

[12, 1830] loss: 0.096

[12, 1860] loss: 0.130

[12, 1890] loss: 0.150

[12, 1920] loss: 0.110

[12, 1950] loss: 0.125

[12, 1980] loss: 0.089

[12, 2010] loss: 0.141

[12, 2040] loss: 0.101

[12, 2070] loss: 0.107

[12, 2100] loss: 0.095

[12, 2130] loss: 0.103

[12, 2160] loss: 0.071

[12, 2190] loss: 0.057

ovft_intermediate_models/epoch11_deep.pt saved.


evaluating on training set...

Accuracy on test images: 0.976986

epoch 11 accuracy on train set is: 0.9769856415848782

evaluating on training set takes 71 seconds.

shallow_train shallow_test scratch_train scratch_test deep_train deep_test

0 0.849396 0.875682 0.277854 0.251999 0.923823 0.943384

1 0.868889 0.891948 0.473737 0.542803 0.934456 0.956379

2 0.877249 0.90976 0.651877 0.724555 0.943725 0.96883

3 0.883224 0.89522 0.742321 0.83197 0.952699 0.974827

4 0.883679 0.908033 0.776081 0.848419 0.9619 0.977735

5 0.894311 0.913304 0.830153 0.892857 0.968511 0.980189

6 0.897492 0.917212 0.839399 0.894039 0.963104 0.977281

7 0.88979 0.907306 0.869706 0.914304 0.965921 0.978372

8 0.889427 0.907034 0.882656 0.925391 0.973532 0.980734

9 0.890722 0.906307 0.903194 0.951018 0.975782 0.987459

10 0.896924 0.902308 0.910305 0.941567 0.971624 0.971374

11 0.884996 0.895856 0.919257 0.959833 0.976986 NaN

12 0.898628 0.925754 0.923687 0.96365 NaN NaN

13 0.901808 0.914667 0.934115 0.961923 NaN NaN

14 0.896356 0.921756 0.928253 0.96365 NaN NaN

15 0.903694 0.921392 0.936796 0.96574 NaN NaN

16 0.903967 0.917121 0.942794 0.970102 NaN NaN

17 0.899696 0.916303 0.944089 0.969829 NaN NaN

18 0.900695 0.923391 0.94293 0.972465 NaN NaN

19 0.903512 0.913577 0.949041 0.973646 NaN NaN

20 0.900127 0.922483 0.949677 0.973101 NaN NaN

21 0.895265 0.915485 0.935751 0.955107 NaN NaN

22 0.90274 0.92012 0.952449 0.973646 NaN NaN

23 0.904966 0.917757 0.953085 0.97619 NaN NaN

24 0.905852 0.929844 0.958879 0.979916 NaN NaN

25 0.898878 0.91285 0.959333 0.980189 NaN NaN

26 0.906761 0.915394 0.960492 0.977463 NaN NaN

27 0.904444 0.911759 0.966058 0.984824 NaN NaN

28 0.905103 0.922846 0.957425 0.976372 NaN NaN

29 0.908806 0.92112 0.959606 0.976009 NaN NaN

30 0.907874 0.914213 0.964195 0.985642 NaN NaN

31 0.899014 0.901763 0.964626 0.985551 NaN NaN

32 0.910555 0.930298 0.96424 0.985187 NaN NaN

33 0.910782 0.917757 0.961469 0.980825 NaN NaN

34 0.8999 0.917666 0.964967 0.985369 NaN NaN

35 0.899855 0.914577 0.970306 0.98655 NaN NaN

36 0.902854 0.916031 0.967489 0.978281 NaN NaN

37 0.900536 0.913304 0.972146 0.987913 NaN NaN

38 0.903921 0.91803 0.968284 0.985642 NaN NaN

39 0.905693 0.919302 0.966898 0.987005 NaN NaN

evaluating on test set...

Accuracy on test images: 0.982552

epoch 11 accuracy on test set is: 0.9825517993456925

evaluating on test set takes 18 seconds.

shallow_train shallow_test scratch_train scratch_test deep_train deep_test

0 0.849396 0.875682 0.277854 0.251999 0.923823 0.943384

1 0.868889 0.891948 0.473737 0.542803 0.934456 0.956379

2 0.877249 0.90976 0.651877 0.724555 0.943725 0.96883

3 0.883224 0.89522 0.742321 0.83197 0.952699 0.974827

4 0.883679 0.908033 0.776081 0.848419 0.9619 0.977735

5 0.894311 0.913304 0.830153 0.892857 0.968511 0.980189

6 0.897492 0.917212 0.839399 0.894039 0.963104 0.977281

7 0.88979 0.907306 0.869706 0.914304 0.965921 0.978372

8 0.889427 0.907034 0.882656 0.925391 0.973532 0.980734

9 0.890722 0.906307 0.903194 0.951018 0.975782 0.987459

10 0.896924 0.902308 0.910305 0.941567 0.971624 0.971374

11 0.884996 0.895856 0.919257 0.959833 0.976986 0.982552

12 0.898628 0.925754 0.923687 0.96365 NaN NaN

13 0.901808 0.914667 0.934115 0.961923 NaN NaN

14 0.896356 0.921756 0.928253 0.96365 NaN NaN

15 0.903694 0.921392 0.936796 0.96574 NaN NaN

16 0.903967 0.917121 0.942794 0.970102 NaN NaN

17 0.899696 0.916303 0.944089 0.969829 NaN NaN

18 0.900695 0.923391 0.94293 0.972465 NaN NaN

19 0.903512 0.913577 0.949041 0.973646 NaN NaN

20 0.900127 0.922483 0.949677 0.973101 NaN NaN

21 0.895265 0.915485 0.935751 0.955107 NaN NaN

22 0.90274 0.92012 0.952449 0.973646 NaN NaN

23 0.904966 0.917757 0.953085 0.97619 NaN NaN

24 0.905852 0.929844 0.958879 0.979916 NaN NaN

25 0.898878 0.91285 0.959333 0.980189 NaN NaN

26 0.906761 0.915394 0.960492 0.977463 NaN NaN

27 0.904444 0.911759 0.966058 0.984824 NaN NaN

28 0.905103 0.922846 0.957425 0.976372 NaN NaN

29 0.908806 0.92112 0.959606 0.976009 NaN NaN

30 0.907874 0.914213 0.964195 0.985642 NaN NaN

31 0.899014 0.901763 0.964626 0.985551 NaN NaN

32 0.910555 0.930298 0.96424 0.985187 NaN NaN

33 0.910782 0.917757 0.961469 0.980825 NaN NaN

34 0.8999 0.917666 0.964967 0.985369 NaN NaN

35 0.899855 0.914577 0.970306 0.98655 NaN NaN

36 0.902854 0.916031 0.967489 0.978281 NaN NaN

37 0.900536 0.913304 0.972146 0.987913 NaN NaN

38 0.903921 0.91803 0.968284 0.985642 NaN NaN

39 0.905693 0.919302 0.966898 0.987005 NaN NaN

epoch 11 takes 363 seconds.

[13, 30] loss: 0.117

[13, 60] loss: 0.152

[13, 90] loss: 0.086

[13, 120] loss: 0.085

[13, 150] loss: 0.104

[13, 180] loss: 0.106

[13, 210] loss: 0.117

[13, 240] loss: 0.104

[13, 270] loss: 0.097

[13, 300] loss: 0.090

[13, 330] loss: 0.066

[13, 360] loss: 0.106

[13, 390] loss: 0.087

[13, 420] loss: 0.131

[13, 450] loss: 0.129

[13, 480] loss: 0.103

[13, 510] loss: 0.074

[13, 540] loss: 0.099

[13, 570] loss: 0.104

[13, 600] loss: 0.060

[13, 630] loss: 0.107

[13, 660] loss: 0.083

[13, 690] loss: 0.130

[13, 720] loss: 0.119

[13, 750] loss: 0.138

[13, 780] loss: 0.080

[13, 810] loss: 0.123

[13, 840] loss: 0.127

[13, 870] loss: 0.088

[13, 900] loss: 0.088

[13, 930] loss: 0.137

[13, 960] loss: 0.098

[13, 990] loss: 0.089

[13, 1020] loss: 0.095

[13, 1050] loss: 0.090

[13, 1080] loss: 0.117

[13, 1110] loss: 0.102

[13, 1140] loss: 0.066

[13, 1170] loss: 0.081

[13, 1200] loss: 0.143

[13, 1230] loss: 0.118

[13, 1260] loss: 0.117

[13, 1290] loss: 0.095

[13, 1320] loss: 0.072

[13, 1350] loss: 0.092

[13, 1380] loss: 0.104

[13, 1410] loss: 0.094

[13, 1440] loss: 0.095

[13, 1470] loss: 0.098

[13, 1500] loss: 0.105

[13, 1530] loss: 0.102

[13, 1560] loss: 0.118

[13, 1590] loss: 0.094

[13, 1620] loss: 0.054

[13, 1650] loss: 0.115

[13, 1680] loss: 0.130

[13, 1710] loss: 0.076

[13, 1740] loss: 0.079

[13, 1770] loss: 0.120

[13, 1800] loss: 0.101

[13, 1830] loss: 0.126

[13, 1860] loss: 0.108

[13, 1890] loss: 0.079

[13, 1920] loss: 0.088

[13, 1950] loss: 0.104

[13, 1980] loss: 0.098

[13, 2010] loss: 0.156

[13, 2040] loss: 0.093

[13, 2070] loss: 0.107

[13, 2100] loss: 0.111

[13, 2130] loss: 0.094

[13, 2160] loss: 0.132

[13, 2190] loss: 0.108

ovft_intermediate_models/epoch12_deep.pt saved.


evaluating on training set...

Accuracy on test images: 0.976350

epoch 12 accuracy on train set is: 0.9763495092693566

evaluating on training set takes 73 seconds.

shallow_train shallow_test scratch_train scratch_test deep_train deep_test

0 0.849396 0.875682 0.277854 0.251999 0.923823 0.943384

1 0.868889 0.891948 0.473737 0.542803 0.934456 0.956379

2 0.877249 0.90976 0.651877 0.724555 0.943725 0.96883

3 0.883224 0.89522 0.742321 0.83197 0.952699 0.974827

4 0.883679 0.908033 0.776081 0.848419 0.9619 0.977735

5 0.894311 0.913304 0.830153 0.892857 0.968511 0.980189

6 0.897492 0.917212 0.839399 0.894039 0.963104 0.977281

7 0.88979 0.907306 0.869706 0.914304 0.965921 0.978372

8 0.889427 0.907034 0.882656 0.925391 0.973532 0.980734

9 0.890722 0.906307 0.903194 0.951018 0.975782 0.987459

10 0.896924 0.902308 0.910305 0.941567 0.971624 0.971374

11 0.884996 0.895856 0.919257 0.959833 0.976986 0.982552

12 0.898628 0.925754 0.923687 0.96365 0.97635 NaN

13 0.901808 0.914667 0.934115 0.961923 NaN NaN

14 0.896356 0.921756 0.928253 0.96365 NaN NaN

15 0.903694 0.921392 0.936796 0.96574 NaN NaN

16 0.903967 0.917121 0.942794 0.970102 NaN NaN

17 0.899696 0.916303 0.944089 0.969829 NaN NaN

18 0.900695 0.923391 0.94293 0.972465 NaN NaN

19 0.903512 0.913577 0.949041 0.973646 NaN NaN

20 0.900127 0.922483 0.949677 0.973101 NaN NaN

21 0.895265 0.915485 0.935751 0.955107 NaN NaN

22 0.90274 0.92012 0.952449 0.973646 NaN NaN

23 0.904966 0.917757 0.953085 0.97619 NaN NaN

24 0.905852 0.929844 0.958879 0.979916 NaN NaN

25 0.898878 0.91285 0.959333 0.980189 NaN NaN

26 0.906761 0.915394 0.960492 0.977463 NaN NaN

27 0.904444 0.911759 0.966058 0.984824 NaN NaN

28 0.905103 0.922846 0.957425 0.976372 NaN NaN

29 0.908806 0.92112 0.959606 0.976009 NaN NaN

30 0.907874 0.914213 0.964195 0.985642 NaN NaN

31 0.899014 0.901763 0.964626 0.985551 NaN NaN

32 0.910555 0.930298 0.96424 0.985187 NaN NaN

33 0.910782 0.917757 0.961469 0.980825 NaN NaN

34 0.8999 0.917666 0.964967 0.985369 NaN NaN

35 0.899855 0.914577 0.970306 0.98655 NaN NaN

36 0.902854 0.916031 0.967489 0.978281 NaN NaN

37 0.900536 0.913304 0.972146 0.987913 NaN NaN

38 0.903921 0.91803 0.968284 0.985642 NaN NaN

39 0.905693 0.919302 0.966898 0.987005 NaN NaN

evaluating on test set...

Accuracy on test images: 0.983824

epoch 12 accuracy on test set is: 0.9838240639767357

evaluating on test set takes 18 seconds.

shallow_train shallow_test scratch_train scratch_test deep_train deep_test

0 0.849396 0.875682 0.277854 0.251999 0.923823 0.943384

1 0.868889 0.891948 0.473737 0.542803 0.934456 0.956379

2 0.877249 0.90976 0.651877 0.724555 0.943725 0.96883

3 0.883224 0.89522 0.742321 0.83197 0.952699 0.974827

4 0.883679 0.908033 0.776081 0.848419 0.9619 0.977735

5 0.894311 0.913304 0.830153 0.892857 0.968511 0.980189

6 0.897492 0.917212 0.839399 0.894039 0.963104 0.977281

7 0.88979 0.907306 0.869706 0.914304 0.965921 0.978372

8 0.889427 0.907034 0.882656 0.925391 0.973532 0.980734

9 0.890722 0.906307 0.903194 0.951018 0.975782 0.987459

10 0.896924 0.902308 0.910305 0.941567 0.971624 0.971374

11 0.884996 0.895856 0.919257 0.959833 0.976986 0.982552

12 0.898628 0.925754 0.923687 0.96365 0.97635 0.983824

13 0.901808 0.914667 0.934115 0.961923 NaN NaN

14 0.896356 0.921756 0.928253 0.96365 NaN NaN

15 0.903694 0.921392 0.936796 0.96574 NaN NaN

16 0.903967 0.917121 0.942794 0.970102 NaN NaN

17 0.899696 0.916303 0.944089 0.969829 NaN NaN

18 0.900695 0.923391 0.94293 0.972465 NaN NaN

19 0.903512 0.913577 0.949041 0.973646 NaN NaN

20 0.900127 0.922483 0.949677 0.973101 NaN NaN

21 0.895265 0.915485 0.935751 0.955107 NaN NaN

22 0.90274 0.92012 0.952449 0.973646 NaN NaN

23 0.904966 0.917757 0.953085 0.97619 NaN NaN

24 0.905852 0.929844 0.958879 0.979916 NaN NaN

25 0.898878 0.91285 0.959333 0.980189 NaN NaN

26 0.906761 0.915394 0.960492 0.977463 NaN NaN

27 0.904444 0.911759 0.966058 0.984824 NaN NaN

28 0.905103 0.922846 0.957425 0.976372 NaN NaN

29 0.908806 0.92112 0.959606 0.976009 NaN NaN

30 0.907874 0.914213 0.964195 0.985642 NaN NaN

31 0.899014 0.901763 0.964626 0.985551 NaN NaN

32 0.910555 0.930298 0.96424 0.985187 NaN NaN

33 0.910782 0.917757 0.961469 0.980825 NaN NaN

34 0.8999 0.917666 0.964967 0.985369 NaN NaN

35 0.899855 0.914577 0.970306 0.98655 NaN NaN

36 0.902854 0.916031 0.967489 0.978281 NaN NaN

37 0.900536 0.913304 0.972146 0.987913 NaN NaN

38 0.903921 0.91803 0.968284 0.985642 NaN NaN

39 0.905693 0.919302 0.966898 0.987005 NaN NaN

epoch 12 takes 367 seconds.

[14, 30] loss: 0.076

[14, 60] loss: 0.094

[14, 90] loss: 0.115

[14, 120] loss: 0.100

[14, 150] loss: 0.081

[14, 180] loss: 0.094

[14, 210] loss: 0.102

[14, 240] loss: 0.116

[14, 270] loss: 0.114

[14, 300] loss: 0.114

[14, 330] loss: 0.106

[14, 360] loss: 0.132

[14, 390] loss: 0.078

[14, 420] loss: 0.136

[14, 450] loss: 0.104

[14, 480] loss: 0.106

[14, 510] loss: 0.057

[14, 540] loss: 0.132

[14, 570] loss: 0.089

[14, 600] loss: 0.069

[14, 630] loss: 0.080

[14, 660] loss: 0.090

[14, 690] loss: 0.086

[14, 720] loss: 0.093

[14, 750] loss: 0.081

[14, 780] loss: 0.112

[14, 810] loss: 0.073

[14, 840] loss: 0.104

[14, 870] loss: 0.091

[14, 900] loss: 0.099

[14, 930] loss: 0.047

[14, 960] loss: 0.101

[14, 990] loss: 0.065

[14, 1020] loss: 0.082

[14, 1050] loss: 0.127

[14, 1080] loss: 0.086

[14, 1110] loss: 0.093

[14, 1140] loss: 0.095

[14, 1170] loss: 0.111

[14, 1200] loss: 0.111

[14, 1230] loss: 0.056

[14, 1260] loss: 0.124

[14, 1290] loss: 0.070

[14, 1320] loss: 0.115

[14, 1350] loss: 0.109

[14, 1380] loss: 0.077

[14, 1410] loss: 0.092

[14, 1440] loss: 0.099

[14, 1470] loss: 0.099

[14, 1500] loss: 0.079

[14, 1530] loss: 0.104

[14, 1560] loss: 0.073

[14, 1590] loss: 0.091

[14, 1620] loss: 0.066

[14, 1650] loss: 0.079

[14, 1680] loss: 0.048

[14, 1710] loss: 0.094

[14, 1740] loss: 0.101

[14, 1770] loss: 0.099

[14, 1800] loss: 0.099

[14, 1830] loss: 0.095

[14, 1860] loss: 0.164

[14, 1890] loss: 0.120

[14, 1920] loss: 0.105

[14, 1950] loss: 0.079

[14, 1980] loss: 0.047

[14, 2010] loss: 0.095

[14, 2040] loss: 0.149

[14, 2070] loss: 0.141

[14, 2100] loss: 0.128

[14, 2130] loss: 0.101

[14, 2160] loss: 0.107

[14, 2190] loss: 0.085

ovft_intermediate_models/epoch13_deep.pt saved.


evaluating on training set...

Accuracy on test images: 0.974918

epoch 13 accuracy on train set is: 0.9749182115594329

evaluating on training set takes 136 seconds.

shallow_train shallow_test scratch_train scratch_test deep_train deep_test

0 0.849396 0.875682 0.277854 0.251999 0.923823 0.943384

1 0.868889 0.891948 0.473737 0.542803 0.934456 0.956379

2 0.877249 0.90976 0.651877 0.724555 0.943725 0.96883

3 0.883224 0.89522 0.742321 0.83197 0.952699 0.974827

4 0.883679 0.908033 0.776081 0.848419 0.9619 0.977735

5 0.894311 0.913304 0.830153 0.892857 0.968511 0.980189

6 0.897492 0.917212 0.839399 0.894039 0.963104 0.977281

7 0.88979 0.907306 0.869706 0.914304 0.965921 0.978372

8 0.889427 0.907034 0.882656 0.925391 0.973532 0.980734

9 0.890722 0.906307 0.903194 0.951018 0.975782 0.987459

10 0.896924 0.902308 0.910305 0.941567 0.971624 0.971374

11 0.884996 0.895856 0.919257 0.959833 0.976986 0.982552

12 0.898628 0.925754 0.923687 0.96365 0.97635 0.983824

13 0.901808 0.914667 0.934115 0.961923 0.974918 NaN

14 0.896356 0.921756 0.928253 0.96365 NaN NaN

15 0.903694 0.921392 0.936796 0.96574 NaN NaN

16 0.903967 0.917121 0.942794 0.970102 NaN NaN

17 0.899696 0.916303 0.944089 0.969829 NaN NaN

18 0.900695 0.923391 0.94293 0.972465 NaN NaN

19 0.903512 0.913577 0.949041 0.973646 NaN NaN

20 0.900127 0.922483 0.949677 0.973101 NaN NaN

21 0.895265 0.915485 0.935751 0.955107 NaN NaN

22 0.90274 0.92012 0.952449 0.973646 NaN NaN

23 0.904966 0.917757 0.953085 0.97619 NaN NaN

24 0.905852 0.929844 0.958879 0.979916 NaN NaN

25 0.898878 0.91285 0.959333 0.980189 NaN NaN

26 0.906761 0.915394 0.960492 0.977463 NaN NaN

27 0.904444 0.911759 0.966058 0.984824 NaN NaN

28 0.905103 0.922846 0.957425 0.976372 NaN NaN

29 0.908806 0.92112 0.959606 0.976009 NaN NaN

30 0.907874 0.914213 0.964195 0.985642 NaN NaN

31 0.899014 0.901763 0.964626 0.985551 NaN NaN

32 0.910555 0.930298 0.96424 0.985187 NaN NaN

33 0.910782 0.917757 0.961469 0.980825 NaN NaN

34 0.8999 0.917666 0.964967 0.985369 NaN NaN

35 0.899855 0.914577 0.970306 0.98655 NaN NaN

36 0.902854 0.916031 0.967489 0.978281 NaN NaN

37 0.900536 0.913304 0.972146 0.987913 NaN NaN

38 0.903921 0.91803 0.968284 0.985642 NaN NaN

39 0.905693 0.919302 0.966898 0.987005 NaN NaN

evaluating on test set...

Accuracy on test images: 0.983370

epoch 13 accuracy on test set is: 0.9833696837513631

evaluating on test set takes 33 seconds.

shallow_train shallow_test scratch_train scratch_test deep_train deep_test

0 0.849396 0.875682 0.277854 0.251999 0.923823 0.943384

1 0.868889 0.891948 0.473737 0.542803 0.934456 0.956379

2 0.877249 0.90976 0.651877 0.724555 0.943725 0.96883

3 0.883224 0.89522 0.742321 0.83197 0.952699 0.974827

4 0.883679 0.908033 0.776081 0.848419 0.9619 0.977735

5 0.894311 0.913304 0.830153 0.892857 0.968511 0.980189

6 0.897492 0.917212 0.839399 0.894039 0.963104 0.977281

7 0.88979 0.907306 0.869706 0.914304 0.965921 0.978372

8 0.889427 0.907034 0.882656 0.925391 0.973532 0.980734

9 0.890722 0.906307 0.903194 0.951018 0.975782 0.987459

10 0.896924 0.902308 0.910305 0.941567 0.971624 0.971374

11 0.884996 0.895856 0.919257 0.959833 0.976986 0.982552

12 0.898628 0.925754 0.923687 0.96365 0.97635 0.983824

13 0.901808 0.914667 0.934115 0.961923 0.974918 0.98337

14 0.896356 0.921756 0.928253 0.96365 NaN NaN

15 0.903694 0.921392 0.936796 0.96574 NaN NaN

16 0.903967 0.917121 0.942794 0.970102 NaN NaN

17 0.899696 0.916303 0.944089 0.969829 NaN NaN

18 0.900695 0.923391 0.94293 0.972465 NaN NaN

19 0.903512 0.913577 0.949041 0.973646 NaN NaN

20 0.900127 0.922483 0.949677 0.973101 NaN NaN

21 0.895265 0.915485 0.935751 0.955107 NaN NaN

22 0.90274 0.92012 0.952449 0.973646 NaN NaN

23 0.904966 0.917757 0.953085 0.97619 NaN NaN

24 0.905852 0.929844 0.958879 0.979916 NaN NaN

25 0.898878 0.91285 0.959333 0.980189 NaN NaN

26 0.906761 0.915394 0.960492 0.977463 NaN NaN

27 0.904444 0.911759 0.966058 0.984824 NaN NaN

28 0.905103 0.922846 0.957425 0.976372 NaN NaN

29 0.908806 0.92112 0.959606 0.976009 NaN NaN

30 0.907874 0.914213 0.964195 0.985642 NaN NaN

31 0.899014 0.901763 0.964626 0.985551 NaN NaN

32 0.910555 0.930298 0.96424 0.985187 NaN NaN

33 0.910782 0.917757 0.961469 0.980825 NaN NaN

34 0.8999 0.917666 0.964967 0.985369 NaN NaN

35 0.899855 0.914577 0.970306 0.98655 NaN NaN

36 0.902854 0.916031 0.967489 0.978281 NaN NaN

37 0.900536 0.913304 0.972146 0.987913 NaN NaN

38 0.903921 0.91803 0.968284 0.985642 NaN NaN

39 0.905693 0.919302 0.966898 0.987005 NaN NaN

epoch 13 takes 545 seconds.

[15, 30] loss: 0.078

[15, 60] loss: 0.138

[15, 90] loss: 0.067

[15, 120] loss: 0.082

[15, 150] loss: 0.050

[15, 180] loss: 0.062

[15, 210] loss: 0.078

[15, 240] loss: 0.064

[15, 270] loss: 0.067

[15, 300] loss: 0.089

[15, 330] loss: 0.098

[15, 360] loss: 0.108

[15, 390] loss: 0.110

[15, 420] loss: 0.102

[15, 450] loss: 0.079

[15, 480] loss: 0.103

[15, 510] loss: 0.068

[15, 540] loss: 0.061

[15, 570] loss: 0.077

[15, 600] loss: 0.080

[15, 630] loss: 0.086

[15, 660] loss: 0.108

[15, 690] loss: 0.084

[15, 720] loss: 0.095

[15, 750] loss: 0.098

[15, 780] loss: 0.120

[15, 810] loss: 0.109

[15, 840] loss: 0.123

[15, 870] loss: 0.086

[15, 900] loss: 0.060

[15, 930] loss: 0.089

[15, 960] loss: 0.074

[15, 990] loss: 0.069

[15, 1020] loss: 0.135

[15, 1050] loss: 0.064

[15, 1080] loss: 0.108

[15, 1110] loss: 0.100

[15, 1140] loss: 0.102

[15, 1170] loss: 0.103

[15, 1200] loss: 0.091

[15, 1230] loss: 0.131

[15, 1260] loss: 0.107

[15, 1290] loss: 0.176

[15, 1320] loss: 0.109

[15, 1350] loss: 0.098

[15, 1380] loss: 0.126

[15, 1410] loss: 0.090

[15, 1440] loss: 0.134

[15, 1470] loss: 0.144

[15, 1500] loss: 0.112

[15, 1530] loss: 0.070

[15, 1560] loss: 0.122

[15, 1590] loss: 0.087

[15, 1620] loss: 0.057

[15, 1650] loss: 0.081

[15, 1680] loss: 0.124

[15, 1710] loss: 0.115

[15, 1740] loss: 0.085

[15, 1770] loss: 0.105

[15, 1800] loss: 0.115

[15, 1830] loss: 0.072

[15, 1860] loss: 0.094

[15, 1890] loss: 0.096

[15, 1920] loss: 0.090

[15, 1950] loss: 0.064

[15, 1980] loss: 0.069

[15, 2010] loss: 0.063

[15, 2040] loss: 0.091

[15, 2070] loss: 0.114

[15, 2100] loss: 0.073

[15, 2130] loss: 0.079

[15, 2160] loss: 0.076

[15, 2190] loss: 0.096

ovft_intermediate_models/epoch14_deep.pt saved.


evaluating on training set...

Accuracy on test images: 0.978031

epoch 14 accuracy on train set is: 0.9780307161032352

evaluating on training set takes 70 seconds.

shallow_train shallow_test scratch_train scratch_test deep_train deep_test

0 0.849396 0.875682 0.277854 0.251999 0.923823 0.943384

1 0.868889 0.891948 0.473737 0.542803 0.934456 0.956379

2 0.877249 0.90976 0.651877 0.724555 0.943725 0.96883

3 0.883224 0.89522 0.742321 0.83197 0.952699 0.974827

4 0.883679 0.908033 0.776081 0.848419 0.9619 0.977735

5 0.894311 0.913304 0.830153 0.892857 0.968511 0.980189

6 0.897492 0.917212 0.839399 0.894039 0.963104 0.977281

7 0.88979 0.907306 0.869706 0.914304 0.965921 0.978372

8 0.889427 0.907034 0.882656 0.925391 0.973532 0.980734

9 0.890722 0.906307 0.903194 0.951018 0.975782 0.987459

10 0.896924 0.902308 0.910305 0.941567 0.971624 0.971374

11 0.884996 0.895856 0.919257 0.959833 0.976986 0.982552

12 0.898628 0.925754 0.923687 0.96365 0.97635 0.983824

13 0.901808 0.914667 0.934115 0.961923 0.974918 0.98337

14 0.896356 0.921756 0.928253 0.96365 0.978031 NaN

15 0.903694 0.921392 0.936796 0.96574 NaN NaN

16 0.903967 0.917121 0.942794 0.970102 NaN NaN

17 0.899696 0.916303 0.944089 0.969829 NaN NaN

18 0.900695 0.923391 0.94293 0.972465 NaN NaN

19 0.903512 0.913577 0.949041 0.973646 NaN NaN

20 0.900127 0.922483 0.949677 0.973101 NaN NaN

21 0.895265 0.915485 0.935751 0.955107 NaN NaN

22 0.90274 0.92012 0.952449 0.973646 NaN NaN

23 0.904966 0.917757 0.953085 0.97619 NaN NaN

24 0.905852 0.929844 0.958879 0.979916 NaN NaN

25 0.898878 0.91285 0.959333 0.980189 NaN NaN

26 0.906761 0.915394 0.960492 0.977463 NaN NaN

27 0.904444 0.911759 0.966058 0.984824 NaN NaN

28 0.905103 0.922846 0.957425 0.976372 NaN NaN

29 0.908806 0.92112 0.959606 0.976009 NaN NaN

30 0.907874 0.914213 0.964195 0.985642 NaN NaN

31 0.899014 0.901763 0.964626 0.985551 NaN NaN

32 0.910555 0.930298 0.96424 0.985187 NaN NaN

33 0.910782 0.917757 0.961469 0.980825 NaN NaN

34 0.8999 0.917666 0.964967 0.985369 NaN NaN

35 0.899855 0.914577 0.970306 0.98655 NaN NaN

36 0.902854 0.916031 0.967489 0.978281 NaN NaN

37 0.900536 0.913304 0.972146 0.987913 NaN NaN

38 0.903921 0.91803 0.968284 0.985642 NaN NaN

39 0.905693 0.919302 0.966898 0.987005 NaN NaN

evaluating on test set...

Accuracy on test images: 0.983915

epoch 14 accuracy on test set is: 0.9839149400218102

evaluating on test set takes 18 seconds.

shallow_train shallow_test scratch_train scratch_test deep_train deep_test

0 0.849396 0.875682 0.277854 0.251999 0.923823 0.943384

1 0.868889 0.891948 0.473737 0.542803 0.934456 0.956379

2 0.877249 0.90976 0.651877 0.724555 0.943725 0.96883

3 0.883224 0.89522 0.742321 0.83197 0.952699 0.974827

4 0.883679 0.908033 0.776081 0.848419 0.9619 0.977735

5 0.894311 0.913304 0.830153 0.892857 0.968511 0.980189

6 0.897492 0.917212 0.839399 0.894039 0.963104 0.977281

7 0.88979 0.907306 0.869706 0.914304 0.965921 0.978372

8 0.889427 0.907034 0.882656 0.925391 0.973532 0.980734

9 0.890722 0.906307 0.903194 0.951018 0.975782 0.987459

10 0.896924 0.902308 0.910305 0.941567 0.971624 0.971374

11 0.884996 0.895856 0.919257 0.959833 0.976986 0.982552

12 0.898628 0.925754 0.923687 0.96365 0.97635 0.983824

13 0.901808 0.914667 0.934115 0.961923 0.974918 0.98337

14 0.896356 0.921756 0.928253 0.96365 0.978031 0.983915

15 0.903694 0.921392 0.936796 0.96574 NaN NaN

16 0.903967 0.917121 0.942794 0.970102 NaN NaN

17 0.899696 0.916303 0.944089 0.969829 NaN NaN

18 0.900695 0.923391 0.94293 0.972465 NaN NaN

19 0.903512 0.913577 0.949041 0.973646 NaN NaN

20 0.900127 0.922483 0.949677 0.973101 NaN NaN

21 0.895265 0.915485 0.935751 0.955107 NaN NaN

22 0.90274 0.92012 0.952449 0.973646 NaN NaN

23 0.904966 0.917757 0.953085 0.97619 NaN NaN

24 0.905852 0.929844 0.958879 0.979916 NaN NaN

25 0.898878 0.91285 0.959333 0.980189 NaN NaN

26 0.906761 0.915394 0.960492 0.977463 NaN NaN

27 0.904444 0.911759 0.966058 0.984824 NaN NaN

28 0.905103 0.922846 0.957425 0.976372 NaN NaN

29 0.908806 0.92112 0.959606 0.976009 NaN NaN

30 0.907874 0.914213 0.964195 0.985642 NaN NaN

31 0.899014 0.901763 0.964626 0.985551 NaN NaN

32 0.910555 0.930298 0.96424 0.985187 NaN NaN

33 0.910782 0.917757 0.961469 0.980825 NaN NaN

34 0.8999 0.917666 0.964967 0.985369 NaN NaN

35 0.899855 0.914577 0.970306 0.98655 NaN NaN

36 0.902854 0.916031 0.967489 0.978281 NaN NaN

37 0.900536 0.913304 0.972146 0.987913 NaN NaN

38 0.903921 0.91803 0.968284 0.985642 NaN NaN

39 0.905693 0.919302 0.966898 0.987005 NaN NaN

epoch 14 takes 387 seconds.

[16, 30] loss: 0.096

[16, 60] loss: 0.099

[16, 90] loss: 0.097

[16, 120] loss: 0.092

[16, 150] loss: 0.061

[16, 180] loss: 0.072

[16, 210] loss: 0.075

[16, 240] loss: 0.085

[16, 270] loss: 0.113

[16, 300] loss: 0.097

[16, 330] loss: 0.098

[16, 360] loss: 0.064

[16, 390] loss: 0.080

[16, 420] loss: 0.066

[16, 450] loss: 0.095

[16, 480] loss: 0.095

[16, 510] loss: 0.128

[16, 540] loss: 0.081

[16, 570] loss: 0.086

[16, 600] loss: 0.107

[16, 630] loss: 0.087

[16, 660] loss: 0.097

[16, 690] loss: 0.087

[16, 720] loss: 0.101

[16, 750] loss: 0.079

[16, 780] loss: 0.087

[16, 810] loss: 0.104

[16, 840] loss: 0.098

[16, 870] loss: 0.080

[16, 900] loss: 0.129

[16, 930] loss: 0.103

[16, 960] loss: 0.133

[16, 990] loss: 0.110

[16, 1020] loss: 0.085

[16, 1050] loss: 0.071

[16, 1080] loss: 0.086

[16, 1110] loss: 0.100

[16, 1140] loss: 0.083

[16, 1170] loss: 0.142

[16, 1200] loss: 0.067

[16, 1230] loss: 0.085

[16, 1260] loss: 0.061

[16, 1290] loss: 0.100

[16, 1320] loss: 0.117

[16, 1350] loss: 0.118

[16, 1380] loss: 0.109

[16, 1410] loss: 0.082

[16, 1440] loss: 0.082

[16, 1470] loss: 0.049

[16, 1500] loss: 0.125

[16, 1530] loss: 0.100

[16, 1560] loss: 0.079

[16, 1590] loss: 0.093

[16, 1620] loss: 0.121

[16, 1650] loss: 0.104

[16, 1680] loss: 0.059

[16, 1710] loss: 0.097

[16, 1740] loss: 0.086

[16, 1770] loss: 0.100

[16, 1800] loss: 0.095

[16, 1830] loss: 0.079

[16, 1860] loss: 0.062

[16, 1890] loss: 0.097

[16, 1920] loss: 0.056

[16, 1950] loss: 0.104

[16, 1980] loss: 0.077

[16, 2010] loss: 0.108

[16, 2040] loss: 0.079

[16, 2070] loss: 0.120

[16, 2100] loss: 0.116

[16, 2130] loss: 0.081

[16, 2160] loss: 0.083

[16, 2190] loss: 0.085

ovft_intermediate_models/epoch15_deep.pt saved.


evaluating on training set...

Accuracy on test images: 0.978667

epoch 15 accuracy on train set is: 0.9786668484187568

evaluating on training set takes 70 seconds.

shallow_train shallow_test scratch_train scratch_test deep_train deep_test

0 0.849396 0.875682 0.277854 0.251999 0.923823 0.943384

1 0.868889 0.891948 0.473737 0.542803 0.934456 0.956379

2 0.877249 0.90976 0.651877 0.724555 0.943725 0.96883

3 0.883224 0.89522 0.742321 0.83197 0.952699 0.974827

4 0.883679 0.908033 0.776081 0.848419 0.9619 0.977735

5 0.894311 0.913304 0.830153 0.892857 0.968511 0.980189

6 0.897492 0.917212 0.839399 0.894039 0.963104 0.977281

7 0.88979 0.907306 0.869706 0.914304 0.965921 0.978372

8 0.889427 0.907034 0.882656 0.925391 0.973532 0.980734

9 0.890722 0.906307 0.903194 0.951018 0.975782 0.987459

10 0.896924 0.902308 0.910305 0.941567 0.971624 0.971374

11 0.884996 0.895856 0.919257 0.959833 0.976986 0.982552

12 0.898628 0.925754 0.923687 0.96365 0.97635 0.983824

13 0.901808 0.914667 0.934115 0.961923 0.974918 0.98337

14 0.896356 0.921756 0.928253 0.96365 0.978031 0.983915

15 0.903694 0.921392 0.936796 0.96574 0.978667 NaN

16 0.903967 0.917121 0.942794 0.970102 NaN NaN

17 0.899696 0.916303 0.944089 0.969829 NaN NaN

18 0.900695 0.923391 0.94293 0.972465 NaN NaN

19 0.903512 0.913577 0.949041 0.973646 NaN NaN

20 0.900127 0.922483 0.949677 0.973101 NaN NaN

21 0.895265 0.915485 0.935751 0.955107 NaN NaN

22 0.90274 0.92012 0.952449 0.973646 NaN NaN

23 0.904966 0.917757 0.953085 0.97619 NaN NaN

24 0.905852 0.929844 0.958879 0.979916 NaN NaN

25 0.898878 0.91285 0.959333 0.980189 NaN NaN

26 0.906761 0.915394 0.960492 0.977463 NaN NaN

27 0.904444 0.911759 0.966058 0.984824 NaN NaN

28 0.905103 0.922846 0.957425 0.976372 NaN NaN

29 0.908806 0.92112 0.959606 0.976009 NaN NaN

30 0.907874 0.914213 0.964195 0.985642 NaN NaN

31 0.899014 0.901763 0.964626 0.985551 NaN NaN

32 0.910555 0.930298 0.96424 0.985187 NaN NaN

33 0.910782 0.917757 0.961469 0.980825 NaN NaN

34 0.8999 0.917666 0.964967 0.985369 NaN NaN

35 0.899855 0.914577 0.970306 0.98655 NaN NaN

36 0.902854 0.916031 0.967489 0.978281 NaN NaN

37 0.900536 0.913304 0.972146 0.987913 NaN NaN

38 0.903921 0.91803 0.968284 0.985642 NaN NaN

39 0.905693 0.919302 0.966898 0.987005 NaN NaN

evaluating on test set...

Accuracy on test images: 0.984369

epoch 15 accuracy on test set is: 0.9843693202471828

evaluating on test set takes 17 seconds.

shallow_train shallow_test scratch_train scratch_test deep_train deep_test

0 0.849396 0.875682 0.277854 0.251999 0.923823 0.943384

1 0.868889 0.891948 0.473737 0.542803 0.934456 0.956379

2 0.877249 0.90976 0.651877 0.724555 0.943725 0.96883

3 0.883224 0.89522 0.742321 0.83197 0.952699 0.974827

4 0.883679 0.908033 0.776081 0.848419 0.9619 0.977735

5 0.894311 0.913304 0.830153 0.892857 0.968511 0.980189

6 0.897492 0.917212 0.839399 0.894039 0.963104 0.977281

7 0.88979 0.907306 0.869706 0.914304 0.965921 0.978372

8 0.889427 0.907034 0.882656 0.925391 0.973532 0.980734

9 0.890722 0.906307 0.903194 0.951018 0.975782 0.987459

10 0.896924 0.902308 0.910305 0.941567 0.971624 0.971374

11 0.884996 0.895856 0.919257 0.959833 0.976986 0.982552

12 0.898628 0.925754 0.923687 0.96365 0.97635 0.983824

13 0.901808 0.914667 0.934115 0.961923 0.974918 0.98337

14 0.896356 0.921756 0.928253 0.96365 0.978031 0.983915

15 0.903694 0.921392 0.936796 0.96574 0.978667 0.984369

16 0.903967 0.917121 0.942794 0.970102 NaN NaN

17 0.899696 0.916303 0.944089 0.969829 NaN NaN

18 0.900695 0.923391 0.94293 0.972465 NaN NaN

19 0.903512 0.913577 0.949041 0.973646 NaN NaN

20 0.900127 0.922483 0.949677 0.973101 NaN NaN

21 0.895265 0.915485 0.935751 0.955107 NaN NaN

22 0.90274 0.92012 0.952449 0.973646 NaN NaN

23 0.904966 0.917757 0.953085 0.97619 NaN NaN

24 0.905852 0.929844 0.958879 0.979916 NaN NaN

25 0.898878 0.91285 0.959333 0.980189 NaN NaN

26 0.906761 0.915394 0.960492 0.977463 NaN NaN

27 0.904444 0.911759 0.966058 0.984824 NaN NaN

28 0.905103 0.922846 0.957425 0.976372 NaN NaN

29 0.908806 0.92112 0.959606 0.976009 NaN NaN

30 0.907874 0.914213 0.964195 0.985642 NaN NaN

31 0.899014 0.901763 0.964626 0.985551 NaN NaN

32 0.910555 0.930298 0.96424 0.985187 NaN NaN

33 0.910782 0.917757 0.961469 0.980825 NaN NaN

34 0.8999 0.917666 0.964967 0.985369 NaN NaN

35 0.899855 0.914577 0.970306 0.98655 NaN NaN

36 0.902854 0.916031 0.967489 0.978281 NaN NaN

37 0.900536 0.913304 0.972146 0.987913 NaN NaN

38 0.903921 0.91803 0.968284 0.985642 NaN NaN

39 0.905693 0.919302 0.966898 0.987005 NaN NaN

epoch 15 takes 530 seconds.

[17, 30] loss: 0.074

[17, 60] loss: 0.085

[17, 90] loss: 0.108

[17, 120] loss: 0.097

[17, 150] loss: 0.117

[17, 180] loss: 0.077

[17, 210] loss: 0.074

[17, 240] loss: 0.090

[17, 270] loss: 0.073

[17, 300] loss: 0.043

[17, 330] loss: 0.137

[17, 360] loss: 0.083

[17, 390] loss: 0.072

[17, 420] loss: 0.111

[17, 450] loss: 0.091

[17, 480] loss: 0.127

[17, 510] loss: 0.083

[17, 540] loss: 0.071

[17, 570] loss: 0.089

[17, 600] loss: 0.076

[17, 630] loss: 0.091

[17, 660] loss: 0.079

[17, 690] loss: 0.071

[17, 720] loss: 0.091

[17, 750] loss: 0.112

[17, 780] loss: 0.055

[17, 810] loss: 0.101

[17, 840] loss: 0.075

[17, 870] loss: 0.135

[17, 900] loss: 0.084

[17, 930] loss: 0.096

[17, 960] loss: 0.097

[17, 990] loss: 0.104

[17, 1020] loss: 0.073

[17, 1050] loss: 0.074

[17, 1080] loss: 0.094

[17, 1110] loss: 0.071

[17, 1140] loss: 0.100

[17, 1170] loss: 0.099

[17, 1200] loss: 0.118

[17, 1230] loss: 0.108

[17, 1260] loss: 0.063

[17, 1290] loss: 0.068

[17, 1320] loss: 0.107

[17, 1350] loss: 0.080

[17, 1380] loss: 0.073

[17, 1410] loss: 0.103

[17, 1440] loss: 0.116

[17, 1470] loss: 0.100

[17, 1500] loss: 0.084

[17, 1530] loss: 0.097

[17, 1560] loss: 0.088

[17, 1590] loss: 0.089

[17, 1620] loss: 0.096

[17, 1650] loss: 0.074

[17, 1680] loss: 0.084

[17, 1710] loss: 0.071

[17, 1740] loss: 0.079

[17, 1770] loss: 0.087

[17, 1800] loss: 0.076

[17, 1830] loss: 0.081

[17, 1860] loss: 0.051

[17, 1890] loss: 0.107

[17, 1920] loss: 0.104

[17, 1950] loss: 0.062

[17, 1980] loss: 0.067

[17, 2010] loss: 0.114

[17, 2040] loss: 0.097

[17, 2070] loss: 0.082

[17, 2100] loss: 0.102

[17, 2130] loss: 0.069

[17, 2160] loss: 0.094

[17, 2190] loss: 0.126

ovft_intermediate_models/epoch16_deep.pt saved.


evaluating on training set...

Accuracy on test images: 0.976531

epoch 16 accuracy on train set is: 0.9765312613595056

evaluating on training set takes 69 seconds.

shallow_train shallow_test scratch_train scratch_test deep_train deep_test

0 0.849396 0.875682 0.277854 0.251999 0.923823 0.943384

1 0.868889 0.891948 0.473737 0.542803 0.934456 0.956379

2 0.877249 0.90976 0.651877 0.724555 0.943725 0.96883

3 0.883224 0.89522 0.742321 0.83197 0.952699 0.974827

4 0.883679 0.908033 0.776081 0.848419 0.9619 0.977735

5 0.894311 0.913304 0.830153 0.892857 0.968511 0.980189

6 0.897492 0.917212 0.839399 0.894039 0.963104 0.977281

7 0.88979 0.907306 0.869706 0.914304 0.965921 0.978372

8 0.889427 0.907034 0.882656 0.925391 0.973532 0.980734

9 0.890722 0.906307 0.903194 0.951018 0.975782 0.987459

10 0.896924 0.902308 0.910305 0.941567 0.971624 0.971374

11 0.884996 0.895856 0.919257 0.959833 0.976986 0.982552

12 0.898628 0.925754 0.923687 0.96365 0.97635 0.983824

13 0.901808 0.914667 0.934115 0.961923 0.974918 0.98337

14 0.896356 0.921756 0.928253 0.96365 0.978031 0.983915

15 0.903694 0.921392 0.936796 0.96574 0.978667 0.984369

16 0.903967 0.917121 0.942794 0.970102 0.976531 NaN

17 0.899696 0.916303 0.944089 0.969829 NaN NaN

18 0.900695 0.923391 0.94293 0.972465 NaN NaN

19 0.903512 0.913577 0.949041 0.973646 NaN NaN

20 0.900127 0.922483 0.949677 0.973101 NaN NaN

21 0.895265 0.915485 0.935751 0.955107 NaN NaN

22 0.90274 0.92012 0.952449 0.973646 NaN NaN

23 0.904966 0.917757 0.953085 0.97619 NaN NaN

24 0.905852 0.929844 0.958879 0.979916 NaN NaN

25 0.898878 0.91285 0.959333 0.980189 NaN NaN

26 0.906761 0.915394 0.960492 0.977463 NaN NaN

27 0.904444 0.911759 0.966058 0.984824 NaN NaN

28 0.905103 0.922846 0.957425 0.976372 NaN NaN

29 0.908806 0.92112 0.959606 0.976009 NaN NaN

30 0.907874 0.914213 0.964195 0.985642 NaN NaN

31 0.899014 0.901763 0.964626 0.985551 NaN NaN

32 0.910555 0.930298 0.96424 0.985187 NaN NaN

33 0.910782 0.917757 0.961469 0.980825 NaN NaN

34 0.8999 0.917666 0.964967 0.985369 NaN NaN

35 0.899855 0.914577 0.970306 0.98655 NaN NaN

36 0.902854 0.916031 0.967489 0.978281 NaN NaN

37 0.900536 0.913304 0.972146 0.987913 NaN NaN

38 0.903921 0.91803 0.968284 0.985642 NaN NaN

39 0.905693 0.919302 0.966898 0.987005 NaN NaN

evaluating on test set...

Accuracy on test images: 0.986732

epoch 16 accuracy on test set is: 0.9867320974191203

evaluating on test set takes 17 seconds.

shallow_train shallow_test scratch_train scratch_test deep_train deep_test

0 0.849396 0.875682 0.277854 0.251999 0.923823 0.943384

1 0.868889 0.891948 0.473737 0.542803 0.934456 0.956379

2 0.877249 0.90976 0.651877 0.724555 0.943725 0.96883

3 0.883224 0.89522 0.742321 0.83197 0.952699 0.974827

4 0.883679 0.908033 0.776081 0.848419 0.9619 0.977735

5 0.894311 0.913304 0.830153 0.892857 0.968511 0.980189

6 0.897492 0.917212 0.839399 0.894039 0.963104 0.977281

7 0.88979 0.907306 0.869706 0.914304 0.965921 0.978372

8 0.889427 0.907034 0.882656 0.925391 0.973532 0.980734

9 0.890722 0.906307 0.903194 0.951018 0.975782 0.987459

10 0.896924 0.902308 0.910305 0.941567 0.971624 0.971374

11 0.884996 0.895856 0.919257 0.959833 0.976986 0.982552

12 0.898628 0.925754 0.923687 0.96365 0.97635 0.983824

13 0.901808 0.914667 0.934115 0.961923 0.974918 0.98337

14 0.896356 0.921756 0.928253 0.96365 0.978031 0.983915

15 0.903694 0.921392 0.936796 0.96574 0.978667 0.984369

16 0.903967 0.917121 0.942794 0.970102 0.976531 0.986732

17 0.899696 0.916303 0.944089 0.969829 NaN NaN

18 0.900695 0.923391 0.94293 0.972465 NaN NaN

19 0.903512 0.913577 0.949041 0.973646 NaN NaN

20 0.900127 0.922483 0.949677 0.973101 NaN NaN

21 0.895265 0.915485 0.935751 0.955107 NaN NaN

22 0.90274 0.92012 0.952449 0.973646 NaN NaN

23 0.904966 0.917757 0.953085 0.97619 NaN NaN

24 0.905852 0.929844 0.958879 0.979916 NaN NaN

25 0.898878 0.91285 0.959333 0.980189 NaN NaN

26 0.906761 0.915394 0.960492 0.977463 NaN NaN

27 0.904444 0.911759 0.966058 0.984824 NaN NaN

28 0.905103 0.922846 0.957425 0.976372 NaN NaN

29 0.908806 0.92112 0.959606 0.976009 NaN NaN

30 0.907874 0.914213 0.964195 0.985642 NaN NaN

31 0.899014 0.901763 0.964626 0.985551 NaN NaN

32 0.910555 0.930298 0.96424 0.985187 NaN NaN

33 0.910782 0.917757 0.961469 0.980825 NaN NaN

34 0.8999 0.917666 0.964967 0.985369 NaN NaN

35 0.899855 0.914577 0.970306 0.98655 NaN NaN

36 0.902854 0.916031 0.967489 0.978281 NaN NaN

37 0.900536 0.913304 0.972146 0.987913 NaN NaN

38 0.903921 0.91803 0.968284 0.985642 NaN NaN

39 0.905693 0.919302 0.966898 0.987005 NaN NaN

epoch 16 takes 354 seconds.

[18, 30] loss: 0.104

[18, 60] loss: 0.107

[18, 90] loss: 0.070

[18, 120] loss: 0.093

[18, 150] loss: 0.079

[18, 180] loss: 0.072

[18, 210] loss: 0.063

[18, 240] loss: 0.109

[18, 270] loss: 0.102

[18, 300] loss: 0.118

[18, 330] loss: 0.128

[18, 360] loss: 0.083

[18, 390] loss: 0.121

[18, 420] loss: 0.110

[18, 450] loss: 0.113

[18, 480] loss: 0.113

[18, 510] loss: 0.078

[18, 540] loss: 0.086

[18, 570] loss: 0.061

[18, 600] loss: 0.089

[18, 630] loss: 0.086

[18, 660] loss: 0.080

[18, 690] loss: 0.101

[18, 720] loss: 0.078

[18, 750] loss: 0.080

[18, 780] loss: 0.090

[18, 810] loss: 0.092

[18, 840] loss: 0.080

[18, 870] loss: 0.107

[18, 900] loss: 0.081

[18, 930] loss: 0.059

[18, 960] loss: 0.150

[18, 990] loss: 0.056

[18, 1020] loss: 0.086

[18, 1050] loss: 0.080

[18, 1080] loss: 0.056

[18, 1110] loss: 0.097

[18, 1140] loss: 0.071

[18, 1170] loss: 0.084

[18, 1200] loss: 0.076

[18, 1230] loss: 0.110

[18, 1260] loss: 0.102

[18, 1290] loss: 0.095

[18, 1320] loss: 0.077

[18, 1350] loss: 0.095

[18, 1380] loss: 0.054

[18, 1410] loss: 0.083

[18, 1440] loss: 0.117

[18, 1470] loss: 0.076

[18, 1500] loss: 0.094

[18, 1530] loss: 0.113

[18, 1560] loss: 0.106

[18, 1590] loss: 0.077

[18, 1620] loss: 0.097

[18, 1650] loss: 0.060

[18, 1680] loss: 0.083

[18, 1710] loss: 0.077

[18, 1740] loss: 0.076

[18, 1770] loss: 0.092

[18, 1800] loss: 0.073

[18, 1830] loss: 0.107

[18, 1860] loss: 0.073

[18, 1890] loss: 0.089

[18, 1920] loss: 0.091

[18, 1950] loss: 0.077

[18, 1980] loss: 0.084

[18, 2010] loss: 0.109

[18, 2040] loss: 0.073

[18, 2070] loss: 0.084

[18, 2100] loss: 0.095

[18, 2130] loss: 0.063

[18, 2160] loss: 0.083

[18, 2190] loss: 0.102

ovft_intermediate_models/epoch17_deep.pt saved.


evaluating on training set...

Accuracy on test images: 0.978485

epoch 17 accuracy on train set is: 0.9784850963286078

evaluating on training set takes 69 seconds.

shallow_train shallow_test scratch_train scratch_test deep_train deep_test

0 0.849396 0.875682 0.277854 0.251999 0.923823 0.943384

1 0.868889 0.891948 0.473737 0.542803 0.934456 0.956379

2 0.877249 0.90976 0.651877 0.724555 0.943725 0.96883

3 0.883224 0.89522 0.742321 0.83197 0.952699 0.974827

4 0.883679 0.908033 0.776081 0.848419 0.9619 0.977735

5 0.894311 0.913304 0.830153 0.892857 0.968511 0.980189

6 0.897492 0.917212 0.839399 0.894039 0.963104 0.977281

7 0.88979 0.907306 0.869706 0.914304 0.965921 0.978372

8 0.889427 0.907034 0.882656 0.925391 0.973532 0.980734

9 0.890722 0.906307 0.903194 0.951018 0.975782 0.987459

10 0.896924 0.902308 0.910305 0.941567 0.971624 0.971374

11 0.884996 0.895856 0.919257 0.959833 0.976986 0.982552

12 0.898628 0.925754 0.923687 0.96365 0.97635 0.983824

13 0.901808 0.914667 0.934115 0.961923 0.974918 0.98337

14 0.896356 0.921756 0.928253 0.96365 0.978031 0.983915

15 0.903694 0.921392 0.936796 0.96574 0.978667 0.984369

16 0.903967 0.917121 0.942794 0.970102 0.976531 0.986732

17 0.899696 0.916303 0.944089 0.969829 0.978485 NaN

18 0.900695 0.923391 0.94293 0.972465 NaN NaN

19 0.903512 0.913577 0.949041 0.973646 NaN NaN

20 0.900127 0.922483 0.949677 0.973101 NaN NaN

21 0.895265 0.915485 0.935751 0.955107 NaN NaN

22 0.90274 0.92012 0.952449 0.973646 NaN NaN

23 0.904966 0.917757 0.953085 0.97619 NaN NaN

24 0.905852 0.929844 0.958879 0.979916 NaN NaN

25 0.898878 0.91285 0.959333 0.980189 NaN NaN

26 0.906761 0.915394 0.960492 0.977463 NaN NaN

27 0.904444 0.911759 0.966058 0.984824 NaN NaN

28 0.905103 0.922846 0.957425 0.976372 NaN NaN

29 0.908806 0.92112 0.959606 0.976009 NaN NaN

30 0.907874 0.914213 0.964195 0.985642 NaN NaN

31 0.899014 0.901763 0.964626 0.985551 NaN NaN

32 0.910555 0.930298 0.96424 0.985187 NaN NaN

33 0.910782 0.917757 0.961469 0.980825 NaN NaN

34 0.8999 0.917666 0.964967 0.985369 NaN NaN

35 0.899855 0.914577 0.970306 0.98655 NaN NaN

36 0.902854 0.916031 0.967489 0.978281 NaN NaN

37 0.900536 0.913304 0.972146 0.987913 NaN NaN

38 0.903921 0.91803 0.968284 0.985642 NaN NaN

39 0.905693 0.919302 0.966898 0.987005 NaN NaN

evaluating on test set...

Accuracy on test images: 0.981825

epoch 17 accuracy on test set is: 0.9818247909850963

evaluating on test set takes 18 seconds.

shallow_train shallow_test scratch_train scratch_test deep_train deep_test

0 0.849396 0.875682 0.277854 0.251999 0.923823 0.943384

1 0.868889 0.891948 0.473737 0.542803 0.934456 0.956379

2 0.877249 0.90976 0.651877 0.724555 0.943725 0.96883

3 0.883224 0.89522 0.742321 0.83197 0.952699 0.974827

4 0.883679 0.908033 0.776081 0.848419 0.9619 0.977735

5 0.894311 0.913304 0.830153 0.892857 0.968511 0.980189

6 0.897492 0.917212 0.839399 0.894039 0.963104 0.977281

7 0.88979 0.907306 0.869706 0.914304 0.965921 0.978372

8 0.889427 0.907034 0.882656 0.925391 0.973532 0.980734

9 0.890722 0.906307 0.903194 0.951018 0.975782 0.987459

10 0.896924 0.902308 0.910305 0.941567 0.971624 0.971374

11 0.884996 0.895856 0.919257 0.959833 0.976986 0.982552

12 0.898628 0.925754 0.923687 0.96365 0.97635 0.983824

13 0.901808 0.914667 0.934115 0.961923 0.974918 0.98337

14 0.896356 0.921756 0.928253 0.96365 0.978031 0.983915

15 0.903694 0.921392 0.936796 0.96574 0.978667 0.984369

16 0.903967 0.917121 0.942794 0.970102 0.976531 0.986732

17 0.899696 0.916303 0.944089 0.969829 0.978485 0.981825

18 0.900695 0.923391 0.94293 0.972465 NaN NaN

19 0.903512 0.913577 0.949041 0.973646 NaN NaN

20 0.900127 0.922483 0.949677 0.973101 NaN NaN

21 0.895265 0.915485 0.935751 0.955107 NaN NaN

22 0.90274 0.92012 0.952449 0.973646 NaN NaN

23 0.904966 0.917757 0.953085 0.97619 NaN NaN

24 0.905852 0.929844 0.958879 0.979916 NaN NaN

25 0.898878 0.91285 0.959333 0.980189 NaN NaN

26 0.906761 0.915394 0.960492 0.977463 NaN NaN

27 0.904444 0.911759 0.966058 0.984824 NaN NaN

28 0.905103 0.922846 0.957425 0.976372 NaN NaN

29 0.908806 0.92112 0.959606 0.976009 NaN NaN

30 0.907874 0.914213 0.964195 0.985642 NaN NaN

31 0.899014 0.901763 0.964626 0.985551 NaN NaN

32 0.910555 0.930298 0.96424 0.985187 NaN NaN

33 0.910782 0.917757 0.961469 0.980825 NaN NaN

34 0.8999 0.917666 0.964967 0.985369 NaN NaN

35 0.899855 0.914577 0.970306 0.98655 NaN NaN

36 0.902854 0.916031 0.967489 0.978281 NaN NaN

37 0.900536 0.913304 0.972146 0.987913 NaN NaN

38 0.903921 0.91803 0.968284 0.985642 NaN NaN

39 0.905693 0.919302 0.966898 0.987005 NaN NaN

epoch 17 takes 359 seconds.

[19, 30] loss: 0.087

[19, 60] loss: 0.143

[19, 90] loss: 0.078

[19, 120] loss: 0.056

[19, 150] loss: 0.069

[19, 180] loss: 0.117

[19, 210] loss: 0.095

[19, 240] loss: 0.055

[19, 270] loss: 0.078

[19, 300] loss: 0.055

[19, 330] loss: 0.066

[19, 360] loss: 0.072

[19, 390] loss: 0.076

[19, 420] loss: 0.061

[19, 450] loss: 0.074

[19, 480] loss: 0.099

[19, 510] loss: 0.100

[19, 540] loss: 0.059

[19, 570] loss: 0.092

[19, 600] loss: 0.056

[19, 630] loss: 0.076

[19, 660] loss: 0.083

[19, 690] loss: 0.110

[19, 720] loss: 0.067

[19, 750] loss: 0.063

[19, 780] loss: 0.057

[19, 810] loss: 0.083

[19, 840] loss: 0.132

[19, 870] loss: 0.065

[19, 900] loss: 0.064

[19, 930] loss: 0.066

[19, 960] loss: 0.104

[19, 990] loss: 0.071

[19, 1020] loss: 0.072

[19, 1050] loss: 0.085

[19, 1080] loss: 0.075

[19, 1110] loss: 0.080

[19, 1140] loss: 0.065

[19, 1170] loss: 0.086

[19, 1200] loss: 0.076

[19, 1230] loss: 0.090

[19, 1260] loss: 0.111

[19, 1290] loss: 0.093

[19, 1320] loss: 0.075

[19, 1350] loss: 0.103

[19, 1380] loss: 0.107

[19, 1410] loss: 0.044

[19, 1440] loss: 0.066

[19, 1470] loss: 0.083

[19, 1500] loss: 0.046

[19, 1530] loss: 0.064

[19, 1560] loss: 0.092

[19, 1590] loss: 0.057

[19, 1620] loss: 0.071

[19, 1650] loss: 0.128

[19, 1680] loss: 0.077

[19, 1710] loss: 0.096

[19, 1740] loss: 0.109

[19, 1770] loss: 0.087

[19, 1800] loss: 0.084

[19, 1830] loss: 0.115

[19, 1860] loss: 0.094

[19, 1890] loss: 0.112

[19, 1920] loss: 0.087

[19, 1950] loss: 0.063

[19, 1980] loss: 0.078

[19, 2010] loss: 0.098

[19, 2040] loss: 0.064

[19, 2070] loss: 0.070

[19, 2100] loss: 0.060

[19, 2130] loss: 0.095

[19, 2160] loss: 0.142

[19, 2190] loss: 0.112

ovft_intermediate_models/epoch18_deep.pt saved.


evaluating on training set...

Accuracy on test images: 0.978235

epoch 18 accuracy on train set is: 0.9782351872046529

evaluating on training set takes 70 seconds.

shallow_train shallow_test scratch_train scratch_test deep_train deep_test

0 0.849396 0.875682 0.277854 0.251999 0.923823 0.943384

1 0.868889 0.891948 0.473737 0.542803 0.934456 0.956379

2 0.877249 0.90976 0.651877 0.724555 0.943725 0.96883

3 0.883224 0.89522 0.742321 0.83197 0.952699 0.974827

4 0.883679 0.908033 0.776081 0.848419 0.9619 0.977735

5 0.894311 0.913304 0.830153 0.892857 0.968511 0.980189

6 0.897492 0.917212 0.839399 0.894039 0.963104 0.977281

7 0.88979 0.907306 0.869706 0.914304 0.965921 0.978372

8 0.889427 0.907034 0.882656 0.925391 0.973532 0.980734

9 0.890722 0.906307 0.903194 0.951018 0.975782 0.987459

10 0.896924 0.902308 0.910305 0.941567 0.971624 0.971374

11 0.884996 0.895856 0.919257 0.959833 0.976986 0.982552

12 0.898628 0.925754 0.923687 0.96365 0.97635 0.983824

13 0.901808 0.914667 0.934115 0.961923 0.974918 0.98337

14 0.896356 0.921756 0.928253 0.96365 0.978031 0.983915

15 0.903694 0.921392 0.936796 0.96574 0.978667 0.984369

16 0.903967 0.917121 0.942794 0.970102 0.976531 0.986732

17 0.899696 0.916303 0.944089 0.969829 0.978485 0.981825

18 0.900695 0.923391 0.94293 0.972465 0.978235 NaN

19 0.903512 0.913577 0.949041 0.973646 NaN NaN

20 0.900127 0.922483 0.949677 0.973101 NaN NaN

21 0.895265 0.915485 0.935751 0.955107 NaN NaN

22 0.90274 0.92012 0.952449 0.973646 NaN NaN

23 0.904966 0.917757 0.953085 0.97619 NaN NaN

24 0.905852 0.929844 0.958879 0.979916 NaN NaN

25 0.898878 0.91285 0.959333 0.980189 NaN NaN

26 0.906761 0.915394 0.960492 0.977463 NaN NaN

27 0.904444 0.911759 0.966058 0.984824 NaN NaN

28 0.905103 0.922846 0.957425 0.976372 NaN NaN

29 0.908806 0.92112 0.959606 0.976009 NaN NaN

30 0.907874 0.914213 0.964195 0.985642 NaN NaN

31 0.899014 0.901763 0.964626 0.985551 NaN NaN

32 0.910555 0.930298 0.96424 0.985187 NaN NaN

33 0.910782 0.917757 0.961469 0.980825 NaN NaN

34 0.8999 0.917666 0.964967 0.985369 NaN NaN

35 0.899855 0.914577 0.970306 0.98655 NaN NaN

36 0.902854 0.916031 0.967489 0.978281 NaN NaN

37 0.900536 0.913304 0.972146 0.987913 NaN NaN

38 0.903921 0.91803 0.968284 0.985642 NaN NaN

39 0.905693 0.919302 0.966898 0.987005 NaN NaN

evaluating on test set...

Accuracy on test images: 0.988459

epoch 18 accuracy on test set is: 0.9884587422755362

evaluating on test set takes 17 seconds.

shallow_train shallow_test scratch_train scratch_test deep_train deep_test

0 0.849396 0.875682 0.277854 0.251999 0.923823 0.943384

1 0.868889 0.891948 0.473737 0.542803 0.934456 0.956379

2 0.877249 0.90976 0.651877 0.724555 0.943725 0.96883

3 0.883224 0.89522 0.742321 0.83197 0.952699 0.974827

4 0.883679 0.908033 0.776081 0.848419 0.9619 0.977735

5 0.894311 0.913304 0.830153 0.892857 0.968511 0.980189

6 0.897492 0.917212 0.839399 0.894039 0.963104 0.977281

7 0.88979 0.907306 0.869706 0.914304 0.965921 0.978372

8 0.889427 0.907034 0.882656 0.925391 0.973532 0.980734

9 0.890722 0.906307 0.903194 0.951018 0.975782 0.987459

10 0.896924 0.902308 0.910305 0.941567 0.971624 0.971374

11 0.884996 0.895856 0.919257 0.959833 0.976986 0.982552

12 0.898628 0.925754 0.923687 0.96365 0.97635 0.983824

13 0.901808 0.914667 0.934115 0.961923 0.974918 0.98337

14 0.896356 0.921756 0.928253 0.96365 0.978031 0.983915

15 0.903694 0.921392 0.936796 0.96574 0.978667 0.984369

16 0.903967 0.917121 0.942794 0.970102 0.976531 0.986732

17 0.899696 0.916303 0.944089 0.969829 0.978485 0.981825

18 0.900695 0.923391 0.94293 0.972465 0.978235 0.988459

19 0.903512 0.913577 0.949041 0.973646 NaN NaN

20 0.900127 0.922483 0.949677 0.973101 NaN NaN

21 0.895265 0.915485 0.935751 0.955107 NaN NaN

22 0.90274 0.92012 0.952449 0.973646 NaN NaN

23 0.904966 0.917757 0.953085 0.97619 NaN NaN

24 0.905852 0.929844 0.958879 0.979916 NaN NaN

25 0.898878 0.91285 0.959333 0.980189 NaN NaN

26 0.906761 0.915394 0.960492 0.977463 NaN NaN

27 0.904444 0.911759 0.966058 0.984824 NaN NaN

28 0.905103 0.922846 0.957425 0.976372 NaN NaN

29 0.908806 0.92112 0.959606 0.976009 NaN NaN

30 0.907874 0.914213 0.964195 0.985642 NaN NaN

31 0.899014 0.901763 0.964626 0.985551 NaN NaN

32 0.910555 0.930298 0.96424 0.985187 NaN NaN

33 0.910782 0.917757 0.961469 0.980825 NaN NaN

34 0.8999 0.917666 0.964967 0.985369 NaN NaN

35 0.899855 0.914577 0.970306 0.98655 NaN NaN

36 0.902854 0.916031 0.967489 0.978281 NaN NaN

37 0.900536 0.913304 0.972146 0.987913 NaN NaN

38 0.903921 0.91803 0.968284 0.985642 NaN NaN

39 0.905693 0.919302 0.966898 0.987005 NaN NaN

epoch 18 takes 357 seconds.

[20, 30] loss: 0.077

[20, 60] loss: 0.051

[20, 90] loss: 0.095

[20, 120] loss: 0.054

[20, 150] loss: 0.055

[20, 180] loss: 0.062

[20, 210] loss: 0.058

[20, 240] loss: 0.091

[20, 270] loss: 0.089

[20, 300] loss: 0.109

[20, 330] loss: 0.094

[20, 360] loss: 0.078

[20, 390] loss: 0.054

[20, 420] loss: 0.075

[20, 450] loss: 0.067

[20, 480] loss: 0.094

[20, 510] loss: 0.089

[20, 540] loss: 0.111

[20, 570] loss: 0.052

[20, 600] loss: 0.062

[20, 630] loss: 0.089

[20, 660] loss: 0.106

[20, 690] loss: 0.076

[20, 720] loss: 0.067

[20, 750] loss: 0.078

[20, 780] loss: 0.076

[20, 810] loss: 0.085

[20, 840] loss: 0.110

[20, 870] loss: 0.083

[20, 900] loss: 0.065

[20, 930] loss: 0.093

[20, 960] loss: 0.101

[20, 990] loss: 0.060

[20, 1020] loss: 0.084

[20, 1050] loss: 0.136

[20, 1080] loss: 0.069

[20, 1110] loss: 0.063

[20, 1140] loss: 0.086

[20, 1170] loss: 0.066

[20, 1200] loss: 0.065

[20, 1230] loss: 0.088

[20, 1260] loss: 0.082

[20, 1290] loss: 0.073

[20, 1320] loss: 0.101

[20, 1350] loss: 0.083

[20, 1380] loss: 0.071

[20, 1410] loss: 0.094

[20, 1440] loss: 0.090

[20, 1470] loss: 0.068

[20, 1500] loss: 0.097

[20, 1530] loss: 0.104

[20, 1560] loss: 0.100

[20, 1590] loss: 0.062

[20, 1620] loss: 0.094

[20, 1650] loss: 0.083

[20, 1680] loss: 0.074

[20, 1710] loss: 0.076

[20, 1740] loss: 0.105

[20, 1770] loss: 0.075

[20, 1800] loss: 0.102

[20, 1830] loss: 0.064

[20, 1860] loss: 0.097

[20, 1890] loss: 0.122

[20, 1920] loss: 0.100

[20, 1950] loss: 0.065

[20, 1980] loss: 0.090

[20, 2010] loss: 0.090

[20, 2040] loss: 0.089

[20, 2070] loss: 0.061

[20, 2100] loss: 0.031

[20, 2130] loss: 0.062

[20, 2160] loss: 0.114

[20, 2190] loss: 0.043

ovft_intermediate_models/epoch19_deep.pt saved.


evaluating on training set...

Accuracy on test images: 0.983733

epoch 19 accuracy on train set is: 0.9837331879316612

evaluating on training set takes 69 seconds.

shallow_train shallow_test scratch_train scratch_test deep_train deep_test

0 0.849396 0.875682 0.277854 0.251999 0.923823 0.943384

1 0.868889 0.891948 0.473737 0.542803 0.934456 0.956379

2 0.877249 0.90976 0.651877 0.724555 0.943725 0.96883

3 0.883224 0.89522 0.742321 0.83197 0.952699 0.974827

4 0.883679 0.908033 0.776081 0.848419 0.9619 0.977735

5 0.894311 0.913304 0.830153 0.892857 0.968511 0.980189

6 0.897492 0.917212 0.839399 0.894039 0.963104 0.977281

7 0.88979 0.907306 0.869706 0.914304 0.965921 0.978372

8 0.889427 0.907034 0.882656 0.925391 0.973532 0.980734

9 0.890722 0.906307 0.903194 0.951018 0.975782 0.987459

10 0.896924 0.902308 0.910305 0.941567 0.971624 0.971374

11 0.884996 0.895856 0.919257 0.959833 0.976986 0.982552

12 0.898628 0.925754 0.923687 0.96365 0.97635 0.983824

13 0.901808 0.914667 0.934115 0.961923 0.974918 0.98337

14 0.896356 0.921756 0.928253 0.96365 0.978031 0.983915

15 0.903694 0.921392 0.936796 0.96574 0.978667 0.984369

16 0.903967 0.917121 0.942794 0.970102 0.976531 0.986732

17 0.899696 0.916303 0.944089 0.969829 0.978485 0.981825

18 0.900695 0.923391 0.94293 0.972465 0.978235 0.988459

19 0.903512 0.913577 0.949041 0.973646 0.983733 NaN

20 0.900127 0.922483 0.949677 0.973101 NaN NaN

21 0.895265 0.915485 0.935751 0.955107 NaN NaN

22 0.90274 0.92012 0.952449 0.973646 NaN NaN

23 0.904966 0.917757 0.953085 0.97619 NaN NaN

24 0.905852 0.929844 0.958879 0.979916 NaN NaN

25 0.898878 0.91285 0.959333 0.980189 NaN NaN

26 0.906761 0.915394 0.960492 0.977463 NaN NaN

27 0.904444 0.911759 0.966058 0.984824 NaN NaN

28 0.905103 0.922846 0.957425 0.976372 NaN NaN

29 0.908806 0.92112 0.959606 0.976009 NaN NaN

30 0.907874 0.914213 0.964195 0.985642 NaN NaN

31 0.899014 0.901763 0.964626 0.985551 NaN NaN

32 0.910555 0.930298 0.96424 0.985187 NaN NaN

33 0.910782 0.917757 0.961469 0.980825 NaN NaN

34 0.8999 0.917666 0.964967 0.985369 NaN NaN

35 0.899855 0.914577 0.970306 0.98655 NaN NaN

36 0.902854 0.916031 0.967489 0.978281 NaN NaN

37 0.900536 0.913304 0.972146 0.987913 NaN NaN

38 0.903921 0.91803 0.968284 0.985642 NaN NaN

39 0.905693 0.919302 0.966898 0.987005 NaN NaN

evaluating on test set...

Accuracy on test images: 0.988913

epoch 19 accuracy on test set is: 0.9889131225009088

evaluating on test set takes 17 seconds.

shallow_train shallow_test scratch_train scratch_test deep_train deep_test

0 0.849396 0.875682 0.277854 0.251999 0.923823 0.943384

1 0.868889 0.891948 0.473737 0.542803 0.934456 0.956379

2 0.877249 0.90976 0.651877 0.724555 0.943725 0.96883

3 0.883224 0.89522 0.742321 0.83197 0.952699 0.974827

4 0.883679 0.908033 0.776081 0.848419 0.9619 0.977735

5 0.894311 0.913304 0.830153 0.892857 0.968511 0.980189

6 0.897492 0.917212 0.839399 0.894039 0.963104 0.977281

7 0.88979 0.907306 0.869706 0.914304 0.965921 0.978372

8 0.889427 0.907034 0.882656 0.925391 0.973532 0.980734

9 0.890722 0.906307 0.903194 0.951018 0.975782 0.987459

10 0.896924 0.902308 0.910305 0.941567 0.971624 0.971374

11 0.884996 0.895856 0.919257 0.959833 0.976986 0.982552

12 0.898628 0.925754 0.923687 0.96365 0.97635 0.983824

13 0.901808 0.914667 0.934115 0.961923 0.974918 0.98337

14 0.896356 0.921756 0.928253 0.96365 0.978031 0.983915

15 0.903694 0.921392 0.936796 0.96574 0.978667 0.984369

16 0.903967 0.917121 0.942794 0.970102 0.976531 0.986732

17 0.899696 0.916303 0.944089 0.969829 0.978485 0.981825

18 0.900695 0.923391 0.94293 0.972465 0.978235 0.988459

19 0.903512 0.913577 0.949041 0.973646 0.983733 0.988913

20 0.900127 0.922483 0.949677 0.973101 NaN NaN

21 0.895265 0.915485 0.935751 0.955107 NaN NaN

22 0.90274 0.92012 0.952449 0.973646 NaN NaN

23 0.904966 0.917757 0.953085 0.97619 NaN NaN

24 0.905852 0.929844 0.958879 0.979916 NaN NaN

25 0.898878 0.91285 0.959333 0.980189 NaN NaN

26 0.906761 0.915394 0.960492 0.977463 NaN NaN

27 0.904444 0.911759 0.966058 0.984824 NaN NaN

28 0.905103 0.922846 0.957425 0.976372 NaN NaN

29 0.908806 0.92112 0.959606 0.976009 NaN NaN

30 0.907874 0.914213 0.964195 0.985642 NaN NaN

31 0.899014 0.901763 0.964626 0.985551 NaN NaN

32 0.910555 0.930298 0.96424 0.985187 NaN NaN

33 0.910782 0.917757 0.961469 0.980825 NaN NaN

34 0.8999 0.917666 0.964967 0.985369 NaN NaN

35 0.899855 0.914577 0.970306 0.98655 NaN NaN

36 0.902854 0.916031 0.967489 0.978281 NaN NaN

37 0.900536 0.913304 0.972146 0.987913 NaN NaN

38 0.903921 0.91803 0.968284 0.985642 NaN NaN

39 0.905693 0.919302 0.966898 0.987005 NaN NaN

epoch 19 takes 357 seconds.

[21, 30] loss: 0.058

[21, 60] loss: 0.051

[21, 90] loss: 0.046

[21, 120] loss: 0.121

[21, 150] loss: 0.092

[21, 180] loss: 0.086

[21, 210] loss: 0.081

[21, 240] loss: 0.061

[21, 270] loss: 0.106

[21, 300] loss: 0.092

[21, 330] loss: 0.085

[21, 360] loss: 0.065

[21, 390] loss: 0.074

[21, 420] loss: 0.095

[21, 450] loss: 0.073

[21, 480] loss: 0.046

[21, 510] loss: 0.055

[21, 540] loss: 0.063

[21, 570] loss: 0.048

[21, 600] loss: 0.094

[21, 630] loss: 0.081

[21, 660] loss: 0.103

[21, 690] loss: 0.105

[21, 720] loss: 0.081

[21, 750] loss: 0.083

[21, 780] loss: 0.061

[21, 810] loss: 0.117

[21, 840] loss: 0.072

[21, 870] loss: 0.094

[21, 900] loss: 0.083

[21, 930] loss: 0.066

[21, 960] loss: 0.044

[21, 990] loss: 0.077

[21, 1020] loss: 0.095

[21, 1050] loss: 0.077

[21, 1080] loss: 0.096

[21, 1110] loss: 0.064

[21, 1140] loss: 0.052

[21, 1170] loss: 0.087

[21, 1200] loss: 0.077

[21, 1230] loss: 0.107

[21, 1260] loss: 0.084

[21, 1290] loss: 0.068

[21, 1320] loss: 0.108

[21, 1350] loss: 0.065

[21, 1380] loss: 0.090

[21, 1410] loss: 0.066

[21, 1440] loss: 0.087

[21, 1470] loss: 0.099

[21, 1500] loss: 0.102

[21, 1530] loss: 0.051

[21, 1560] loss: 0.082

[21, 1590] loss: 0.084

[21, 1620] loss: 0.085

[21, 1650] loss: 0.096

[21, 1680] loss: 0.070

[21, 1710] loss: 0.062

[21, 1740] loss: 0.078

[21, 1770] loss: 0.064

[21, 1800] loss: 0.062

[21, 1830] loss: 0.047

[21, 1860] loss: 0.098

[21, 1890] loss: 0.076

[21, 1920] loss: 0.095

[21, 1950] loss: 0.066

[21, 1980] loss: 0.093

[21, 2010] loss: 0.050

[21, 2040] loss: 0.064

[21, 2070] loss: 0.069

[21, 2100] loss: 0.076

[21, 2130] loss: 0.063

[21, 2160] loss: 0.101

[21, 2190] loss: 0.081

ovft_intermediate_models/epoch20_deep.pt saved.


evaluating on training set...

Accuracy on test images: 0.982052

epoch 20 accuracy on train set is: 0.9820519810977826

evaluating on training set takes 69 seconds.

shallow_train shallow_test scratch_train scratch_test deep_train deep_test

0 0.849396 0.875682 0.277854 0.251999 0.923823 0.943384

1 0.868889 0.891948 0.473737 0.542803 0.934456 0.956379

2 0.877249 0.90976 0.651877 0.724555 0.943725 0.96883

3 0.883224 0.89522 0.742321 0.83197 0.952699 0.974827

4 0.883679 0.908033 0.776081 0.848419 0.9619 0.977735

5 0.894311 0.913304 0.830153 0.892857 0.968511 0.980189

6 0.897492 0.917212 0.839399 0.894039 0.963104 0.977281

7 0.88979 0.907306 0.869706 0.914304 0.965921 0.978372

8 0.889427 0.907034 0.882656 0.925391 0.973532 0.980734

9 0.890722 0.906307 0.903194 0.951018 0.975782 0.987459

10 0.896924 0.902308 0.910305 0.941567 0.971624 0.971374

11 0.884996 0.895856 0.919257 0.959833 0.976986 0.982552

12 0.898628 0.925754 0.923687 0.96365 0.97635 0.983824

13 0.901808 0.914667 0.934115 0.961923 0.974918 0.98337

14 0.896356 0.921756 0.928253 0.96365 0.978031 0.983915

15 0.903694 0.921392 0.936796 0.96574 0.978667 0.984369

16 0.903967 0.917121 0.942794 0.970102 0.976531 0.986732

17 0.899696 0.916303 0.944089 0.969829 0.978485 0.981825

18 0.900695 0.923391 0.94293 0.972465 0.978235 0.988459

19 0.903512 0.913577 0.949041 0.973646 0.983733 0.988913

20 0.900127 0.922483 0.949677 0.973101 0.982052 NaN

21 0.895265 0.915485 0.935751 0.955107 NaN NaN

22 0.90274 0.92012 0.952449 0.973646 NaN NaN

23 0.904966 0.917757 0.953085 0.97619 NaN NaN

24 0.905852 0.929844 0.958879 0.979916 NaN NaN

25 0.898878 0.91285 0.959333 0.980189 NaN NaN

26 0.906761 0.915394 0.960492 0.977463 NaN NaN

27 0.904444 0.911759 0.966058 0.984824 NaN NaN

28 0.905103 0.922846 0.957425 0.976372 NaN NaN

29 0.908806 0.92112 0.959606 0.976009 NaN NaN

30 0.907874 0.914213 0.964195 0.985642 NaN NaN

31 0.899014 0.901763 0.964626 0.985551 NaN NaN

32 0.910555 0.930298 0.96424 0.985187 NaN NaN

33 0.910782 0.917757 0.961469 0.980825 NaN NaN

34 0.8999 0.917666 0.964967 0.985369 NaN NaN

35 0.899855 0.914577 0.970306 0.98655 NaN NaN

36 0.902854 0.916031 0.967489 0.978281 NaN NaN

37 0.900536 0.913304 0.972146 0.987913 NaN NaN

38 0.903921 0.91803 0.968284 0.985642 NaN NaN

39 0.905693 0.919302 0.966898 0.987005 NaN NaN

evaluating on test set...

Accuracy on test images: 0.989549

epoch 20 accuracy on test set is: 0.9895492548164304

evaluating on test set takes 17 seconds.

shallow_train shallow_test scratch_train scratch_test deep_train deep_test

0 0.849396 0.875682 0.277854 0.251999 0.923823 0.943384

1 0.868889 0.891948 0.473737 0.542803 0.934456 0.956379

2 0.877249 0.90976 0.651877 0.724555 0.943725 0.96883

3 0.883224 0.89522 0.742321 0.83197 0.952699 0.974827

4 0.883679 0.908033 0.776081 0.848419 0.9619 0.977735

5 0.894311 0.913304 0.830153 0.892857 0.968511 0.980189

6 0.897492 0.917212 0.839399 0.894039 0.963104 0.977281

7 0.88979 0.907306 0.869706 0.914304 0.965921 0.978372

8 0.889427 0.907034 0.882656 0.925391 0.973532 0.980734

9 0.890722 0.906307 0.903194 0.951018 0.975782 0.987459

10 0.896924 0.902308 0.910305 0.941567 0.971624 0.971374

11 0.884996 0.895856 0.919257 0.959833 0.976986 0.982552

12 0.898628 0.925754 0.923687 0.96365 0.97635 0.983824

13 0.901808 0.914667 0.934115 0.961923 0.974918 0.98337

14 0.896356 0.921756 0.928253 0.96365 0.978031 0.983915

15 0.903694 0.921392 0.936796 0.96574 0.978667 0.984369

16 0.903967 0.917121 0.942794 0.970102 0.976531 0.986732

17 0.899696 0.916303 0.944089 0.969829 0.978485 0.981825

18 0.900695 0.923391 0.94293 0.972465 0.978235 0.988459

19 0.903512 0.913577 0.949041 0.973646 0.983733 0.988913

20 0.900127 0.922483 0.949677 0.973101 0.982052 0.989549

21 0.895265 0.915485 0.935751 0.955107 NaN NaN

22 0.90274 0.92012 0.952449 0.973646 NaN NaN

23 0.904966 0.917757 0.953085 0.97619 NaN NaN

24 0.905852 0.929844 0.958879 0.979916 NaN NaN

25 0.898878 0.91285 0.959333 0.980189 NaN NaN

26 0.906761 0.915394 0.960492 0.977463 NaN NaN

27 0.904444 0.911759 0.966058 0.984824 NaN NaN

28 0.905103 0.922846 0.957425 0.976372 NaN NaN

29 0.908806 0.92112 0.959606 0.976009 NaN NaN

30 0.907874 0.914213 0.964195 0.985642 NaN NaN

31 0.899014 0.901763 0.964626 0.985551 NaN NaN

32 0.910555 0.930298 0.96424 0.985187 NaN NaN

33 0.910782 0.917757 0.961469 0.980825 NaN NaN

34 0.8999 0.917666 0.964967 0.985369 NaN NaN

35 0.899855 0.914577 0.970306 0.98655 NaN NaN

36 0.902854 0.916031 0.967489 0.978281 NaN NaN

37 0.900536 0.913304 0.972146 0.987913 NaN NaN

38 0.903921 0.91803 0.968284 0.985642 NaN NaN

39 0.905693 0.919302 0.966898 0.987005 NaN NaN

epoch 20 takes 356 seconds.

[22, 30] loss: 0.053

[22, 60] loss: 0.101

[22, 90] loss: 0.071

[22, 120] loss: 0.098

[22, 150] loss: 0.129

[22, 180] loss: 0.083

[22, 210] loss: 0.066

[22, 240] loss: 0.068

[22, 270] loss: 0.092

[22, 300] loss: 0.095

[22, 330] loss: 0.090

[22, 360] loss: 0.123

[22, 390] loss: 0.065

[22, 420] loss: 0.074

[22, 450] loss: 0.077

[22, 480] loss: 0.083

[22, 510] loss: 0.072

[22, 540] loss: 0.071

[22, 570] loss: 0.085

[22, 600] loss: 0.067

[22, 630] loss: 0.072

[22, 660] loss: 0.073

[22, 690] loss: 0.093

[22, 720] loss: 0.102

[22, 750] loss: 0.093

[22, 780] loss: 0.087

[22, 810] loss: 0.081

[22, 840] loss: 0.063

[22, 870] loss: 0.050

[22, 900] loss: 0.083

[22, 930] loss: 0.078

[22, 960] loss: 0.073

[22, 990] loss: 0.098

[22, 1020] loss: 0.066

[22, 1050] loss: 0.071

[22, 1080] loss: 0.103

[22, 1110] loss: 0.089

[22, 1140] loss: 0.055

[22, 1170] loss: 0.053

[22, 1200] loss: 0.072

[22, 1230] loss: 0.075

[22, 1260] loss: 0.089

[22, 1290] loss: 0.106

[22, 1320] loss: 0.061

[22, 1350] loss: 0.041

[22, 1380] loss: 0.078

[22, 1410] loss: 0.077

[22, 1440] loss: 0.069

[22, 1470] loss: 0.049

[22, 1500] loss: 0.060

[22, 1530] loss: 0.067

[22, 1560] loss: 0.085

[22, 1590] loss: 0.093

[22, 1620] loss: 0.096

[22, 1650] loss: 0.052

[22, 1680] loss: 0.084

[22, 1710] loss: 0.085

[22, 1740] loss: 0.085

[22, 1770] loss: 0.106

[22, 1800] loss: 0.080

[22, 1830] loss: 0.093

[22, 1860] loss: 0.066

[22, 1890] loss: 0.110

[22, 1920] loss: 0.103

[22, 1950] loss: 0.077

[22, 1980] loss: 0.089

[22, 2010] loss: 0.071

[22, 2040] loss: 0.123

[22, 2070] loss: 0.103

[22, 2100] loss: 0.113

[22, 2130] loss: 0.078

[22, 2160] loss: 0.067

[22, 2190] loss: 0.051

ovft_intermediate_models/epoch21_deep.pt saved.


evaluating on training set...

Accuracy on test images: 0.979235

epoch 21 accuracy on train set is: 0.9792348237004725

evaluating on training set takes 69 seconds.

shallow_train shallow_test scratch_train scratch_test deep_train deep_test

0 0.849396 0.875682 0.277854 0.251999 0.923823 0.943384

1 0.868889 0.891948 0.473737 0.542803 0.934456 0.956379

2 0.877249 0.90976 0.651877 0.724555 0.943725 0.96883

3 0.883224 0.89522 0.742321 0.83197 0.952699 0.974827

4 0.883679 0.908033 0.776081 0.848419 0.9619 0.977735

5 0.894311 0.913304 0.830153 0.892857 0.968511 0.980189

6 0.897492 0.917212 0.839399 0.894039 0.963104 0.977281

7 0.88979 0.907306 0.869706 0.914304 0.965921 0.978372

8 0.889427 0.907034 0.882656 0.925391 0.973532 0.980734

9 0.890722 0.906307 0.903194 0.951018 0.975782 0.987459

10 0.896924 0.902308 0.910305 0.941567 0.971624 0.971374

11 0.884996 0.895856 0.919257 0.959833 0.976986 0.982552

12 0.898628 0.925754 0.923687 0.96365 0.97635 0.983824

13 0.901808 0.914667 0.934115 0.961923 0.974918 0.98337

14 0.896356 0.921756 0.928253 0.96365 0.978031 0.983915

15 0.903694 0.921392 0.936796 0.96574 0.978667 0.984369

16 0.903967 0.917121 0.942794 0.970102 0.976531 0.986732

17 0.899696 0.916303 0.944089 0.969829 0.978485 0.981825

18 0.900695 0.923391 0.94293 0.972465 0.978235 0.988459

19 0.903512 0.913577 0.949041 0.973646 0.983733 0.988913

20 0.900127 0.922483 0.949677 0.973101 0.982052 0.989549

21 0.895265 0.915485 0.935751 0.955107 0.979235 NaN

22 0.90274 0.92012 0.952449 0.973646 NaN NaN

23 0.904966 0.917757 0.953085 0.97619 NaN NaN

24 0.905852 0.929844 0.958879 0.979916 NaN NaN

25 0.898878 0.91285 0.959333 0.980189 NaN NaN

26 0.906761 0.915394 0.960492 0.977463 NaN NaN

27 0.904444 0.911759 0.966058 0.984824 NaN NaN

28 0.905103 0.922846 0.957425 0.976372 NaN NaN

29 0.908806 0.92112 0.959606 0.976009 NaN NaN

30 0.907874 0.914213 0.964195 0.985642 NaN NaN

31 0.899014 0.901763 0.964626 0.985551 NaN NaN

32 0.910555 0.930298 0.96424 0.985187 NaN NaN

33 0.910782 0.917757 0.961469 0.980825 NaN NaN

34 0.8999 0.917666 0.964967 0.985369 NaN NaN

35 0.899855 0.914577 0.970306 0.98655 NaN NaN

36 0.902854 0.916031 0.967489 0.978281 NaN NaN

37 0.900536 0.913304 0.972146 0.987913 NaN NaN

38 0.903921 0.91803 0.968284 0.985642 NaN NaN

39 0.905693 0.919302 0.966898 0.987005 NaN NaN

evaluating on test set...

Accuracy on test images: 0.978917

epoch 21 accuracy on test set is: 0.9789167575427118

evaluating on test set takes 17 seconds.

shallow_train shallow_test scratch_train scratch_test deep_train deep_test

0 0.849396 0.875682 0.277854 0.251999 0.923823 0.943384

1 0.868889 0.891948 0.473737 0.542803 0.934456 0.956379

2 0.877249 0.90976 0.651877 0.724555 0.943725 0.96883

3 0.883224 0.89522 0.742321 0.83197 0.952699 0.974827

4 0.883679 0.908033 0.776081 0.848419 0.9619 0.977735

5 0.894311 0.913304 0.830153 0.892857 0.968511 0.980189

6 0.897492 0.917212 0.839399 0.894039 0.963104 0.977281

7 0.88979 0.907306 0.869706 0.914304 0.965921 0.978372

8 0.889427 0.907034 0.882656 0.925391 0.973532 0.980734

9 0.890722 0.906307 0.903194 0.951018 0.975782 0.987459

10 0.896924 0.902308 0.910305 0.941567 0.971624 0.971374

11 0.884996 0.895856 0.919257 0.959833 0.976986 0.982552

12 0.898628 0.925754 0.923687 0.96365 0.97635 0.983824

13 0.901808 0.914667 0.934115 0.961923 0.974918 0.98337

14 0.896356 0.921756 0.928253 0.96365 0.978031 0.983915

15 0.903694 0.921392 0.936796 0.96574 0.978667 0.984369

16 0.903967 0.917121 0.942794 0.970102 0.976531 0.986732

17 0.899696 0.916303 0.944089 0.969829 0.978485 0.981825

18 0.900695 0.923391 0.94293 0.972465 0.978235 0.988459

19 0.903512 0.913577 0.949041 0.973646 0.983733 0.988913

20 0.900127 0.922483 0.949677 0.973101 0.982052 0.989549

21 0.895265 0.915485 0.935751 0.955107 0.979235 0.978917

22 0.90274 0.92012 0.952449 0.973646 NaN NaN

23 0.904966 0.917757 0.953085 0.97619 NaN NaN

24 0.905852 0.929844 0.958879 0.979916 NaN NaN

25 0.898878 0.91285 0.959333 0.980189 NaN NaN

26 0.906761 0.915394 0.960492 0.977463 NaN NaN

27 0.904444 0.911759 0.966058 0.984824 NaN NaN

28 0.905103 0.922846 0.957425 0.976372 NaN NaN

29 0.908806 0.92112 0.959606 0.976009 NaN NaN

30 0.907874 0.914213 0.964195 0.985642 NaN NaN

31 0.899014 0.901763 0.964626 0.985551 NaN NaN

32 0.910555 0.930298 0.96424 0.985187 NaN NaN

33 0.910782 0.917757 0.961469 0.980825 NaN NaN

34 0.8999 0.917666 0.964967 0.985369 NaN NaN

35 0.899855 0.914577 0.970306 0.98655 NaN NaN

36 0.902854 0.916031 0.967489 0.978281 NaN NaN

37 0.900536 0.913304 0.972146 0.987913 NaN NaN

38 0.903921 0.91803 0.968284 0.985642 NaN NaN

39 0.905693 0.919302 0.966898 0.987005 NaN NaN

epoch 21 takes 356 seconds.

[23, 30] loss: 0.064

[23, 60] loss: 0.088

[23, 90] loss: 0.078

[23, 120] loss: 0.052

[23, 150] loss: 0.064

[23, 180] loss: 0.103

[23, 210] loss: 0.062

[23, 240] loss: 0.077

[23, 270] loss: 0.084

[23, 300] loss: 0.085

[23, 330] loss: 0.056

[23, 360] loss: 0.058

[23, 390] loss: 0.066

[23, 420] loss: 0.059

[23, 450] loss: 0.087

[23, 480] loss: 0.089

[23, 510] loss: 0.063

[23, 540] loss: 0.074

[23, 570] loss: 0.062

[23, 600] loss: 0.081

[23, 630] loss: 0.107

[23, 660] loss: 0.063

[23, 690] loss: 0.071

[23, 720] loss: 0.086

[23, 750] loss: 0.091

[23, 780] loss: 0.077

[23, 810] loss: 0.064

[23, 840] loss: 0.118

[23, 870] loss: 0.074

[23, 900] loss: 0.074

[23, 930] loss: 0.069

[23, 960] loss: 0.084

[23, 990] loss: 0.087

[23, 1020] loss: 0.073

[23, 1050] loss: 0.069

[23, 1080] loss: 0.078

[23, 1110] loss: 0.050

[23, 1140] loss: 0.083

[23, 1170] loss: 0.086

[23, 1200] loss: 0.043

[23, 1230] loss: 0.054

[23, 1260] loss: 0.060

[23, 1290] loss: 0.058

[23, 1320] loss: 0.086

[23, 1350] loss: 0.087

[23, 1380] loss: 0.114

[23, 1410] loss: 0.075

[23, 1440] loss: 0.097

[23, 1470] loss: 0.059

[23, 1500] loss: 0.060

[23, 1530] loss: 0.047

[23, 1560] loss: 0.083

[23, 1590] loss: 0.088

[23, 1620] loss: 0.066

[23, 1650] loss: 0.092

[23, 1680] loss: 0.094

[23, 1710] loss: 0.098

[23, 1740] loss: 0.105

[23, 1770] loss: 0.075

[23, 1800] loss: 0.040

[23, 1830] loss: 0.070

[23, 1860] loss: 0.050

[23, 1890] loss: 0.050

[23, 1920] loss: 0.074

[23, 1950] loss: 0.075

[23, 1980] loss: 0.097

[23, 2010] loss: 0.067

[23, 2040] loss: 0.068

[23, 2070] loss: 0.096

[23, 2100] loss: 0.085

[23, 2130] loss: 0.059

[23, 2160] loss: 0.105

[23, 2190] loss: 0.060

ovft_intermediate_models/epoch22_deep.pt saved.


evaluating on training set...

Accuracy on test images: 0.985551

epoch 22 accuracy on train set is: 0.9855507088331515

evaluating on training set takes 69 seconds.

shallow_train shallow_test scratch_train scratch_test deep_train deep_test

0 0.849396 0.875682 0.277854 0.251999 0.923823 0.943384

1 0.868889 0.891948 0.473737 0.542803 0.934456 0.956379

2 0.877249 0.90976 0.651877 0.724555 0.943725 0.96883

3 0.883224 0.89522 0.742321 0.83197 0.952699 0.974827

4 0.883679 0.908033 0.776081 0.848419 0.9619 0.977735

5 0.894311 0.913304 0.830153 0.892857 0.968511 0.980189

6 0.897492 0.917212 0.839399 0.894039 0.963104 0.977281

7 0.88979 0.907306 0.869706 0.914304 0.965921 0.978372

8 0.889427 0.907034 0.882656 0.925391 0.973532 0.980734

9 0.890722 0.906307 0.903194 0.951018 0.975782 0.987459

10 0.896924 0.902308 0.910305 0.941567 0.971624 0.971374

11 0.884996 0.895856 0.919257 0.959833 0.976986 0.982552

12 0.898628 0.925754 0.923687 0.96365 0.97635 0.983824

13 0.901808 0.914667 0.934115 0.961923 0.974918 0.98337

14 0.896356 0.921756 0.928253 0.96365 0.978031 0.983915

15 0.903694 0.921392 0.936796 0.96574 0.978667 0.984369

16 0.903967 0.917121 0.942794 0.970102 0.976531 0.986732

17 0.899696 0.916303 0.944089 0.969829 0.978485 0.981825

18 0.900695 0.923391 0.94293 0.972465 0.978235 0.988459

19 0.903512 0.913577 0.949041 0.973646 0.983733 0.988913

20 0.900127 0.922483 0.949677 0.973101 0.982052 0.989549

21 0.895265 0.915485 0.935751 0.955107 0.979235 0.978917

22 0.90274 0.92012 0.952449 0.973646 0.985551 NaN

23 0.904966 0.917757 0.953085 0.97619 NaN NaN

24 0.905852 0.929844 0.958879 0.979916 NaN NaN

25 0.898878 0.91285 0.959333 0.980189 NaN NaN

26 0.906761 0.915394 0.960492 0.977463 NaN NaN

27 0.904444 0.911759 0.966058 0.984824 NaN NaN

28 0.905103 0.922846 0.957425 0.976372 NaN NaN

29 0.908806 0.92112 0.959606 0.976009 NaN NaN

30 0.907874 0.914213 0.964195 0.985642 NaN NaN

31 0.899014 0.901763 0.964626 0.985551 NaN NaN

32 0.910555 0.930298 0.96424 0.985187 NaN NaN

33 0.910782 0.917757 0.961469 0.980825 NaN NaN

34 0.8999 0.917666 0.964967 0.985369 NaN NaN

35 0.899855 0.914577 0.970306 0.98655 NaN NaN

36 0.902854 0.916031 0.967489 0.978281 NaN NaN

37 0.900536 0.913304 0.972146 0.987913 NaN NaN

38 0.903921 0.91803 0.968284 0.985642 NaN NaN

39 0.905693 0.919302 0.966898 0.987005 NaN NaN

evaluating on test set...

Accuracy on test images: 0.987823

epoch 22 accuracy on test set is: 0.9878226099600146

evaluating on test set takes 18 seconds.

shallow_train shallow_test scratch_train scratch_test deep_train deep_test

0 0.849396 0.875682 0.277854 0.251999 0.923823 0.943384

1 0.868889 0.891948 0.473737 0.542803 0.934456 0.956379

2 0.877249 0.90976 0.651877 0.724555 0.943725 0.96883

3 0.883224 0.89522 0.742321 0.83197 0.952699 0.974827

4 0.883679 0.908033 0.776081 0.848419 0.9619 0.977735

5 0.894311 0.913304 0.830153 0.892857 0.968511 0.980189

6 0.897492 0.917212 0.839399 0.894039 0.963104 0.977281

7 0.88979 0.907306 0.869706 0.914304 0.965921 0.978372

8 0.889427 0.907034 0.882656 0.925391 0.973532 0.980734

9 0.890722 0.906307 0.903194 0.951018 0.975782 0.987459

10 0.896924 0.902308 0.910305 0.941567 0.971624 0.971374

11 0.884996 0.895856 0.919257 0.959833 0.976986 0.982552

12 0.898628 0.925754 0.923687 0.96365 0.97635 0.983824

13 0.901808 0.914667 0.934115 0.961923 0.974918 0.98337

14 0.896356 0.921756 0.928253 0.96365 0.978031 0.983915

15 0.903694 0.921392 0.936796 0.96574 0.978667 0.984369

16 0.903967 0.917121 0.942794 0.970102 0.976531 0.986732

17 0.899696 0.916303 0.944089 0.969829 0.978485 0.981825

18 0.900695 0.923391 0.94293 0.972465 0.978235 0.988459

19 0.903512 0.913577 0.949041 0.973646 0.983733 0.988913

20 0.900127 0.922483 0.949677 0.973101 0.982052 0.989549

21 0.895265 0.915485 0.935751 0.955107 0.979235 0.978917

22 0.90274 0.92012 0.952449 0.973646 0.985551 0.987823

23 0.904966 0.917757 0.953085 0.97619 NaN NaN

24 0.905852 0.929844 0.958879 0.979916 NaN NaN

25 0.898878 0.91285 0.959333 0.980189 NaN NaN

26 0.906761 0.915394 0.960492 0.977463 NaN NaN

27 0.904444 0.911759 0.966058 0.984824 NaN NaN

28 0.905103 0.922846 0.957425 0.976372 NaN NaN

29 0.908806 0.92112 0.959606 0.976009 NaN NaN

30 0.907874 0.914213 0.964195 0.985642 NaN NaN

31 0.899014 0.901763 0.964626 0.985551 NaN NaN

32 0.910555 0.930298 0.96424 0.985187 NaN NaN

33 0.910782 0.917757 0.961469 0.980825 NaN NaN

34 0.8999 0.917666 0.964967 0.985369 NaN NaN

35 0.899855 0.914577 0.970306 0.98655 NaN NaN

36 0.902854 0.916031 0.967489 0.978281 NaN NaN

37 0.900536 0.913304 0.972146 0.987913 NaN NaN

38 0.903921 0.91803 0.968284 0.985642 NaN NaN

39 0.905693 0.919302 0.966898 0.987005 NaN NaN

epoch 22 takes 357 seconds.

[24, 30] loss: 0.063

[24, 60] loss: 0.094

[24, 90] loss: 0.049

[24, 120] loss: 0.078

[24, 150] loss: 0.050

[24, 180] loss: 0.082

[24, 210] loss: 0.094

[24, 240] loss: 0.092

[24, 270] loss: 0.069

[24, 300] loss: 0.054

[24, 330] loss: 0.109

[24, 360] loss: 0.076

[24, 390] loss: 0.061

[24, 420] loss: 0.060

[24, 450] loss: 0.064

[24, 480] loss: 0.058

[24, 510] loss: 0.087

[24, 540] loss: 0.061

[24, 570] loss: 0.055

[24, 600] loss: 0.097

[24, 630] loss: 0.092

[24, 660] loss: 0.078

[24, 690] loss: 0.068

[24, 720] loss: 0.070

[24, 750] loss: 0.087

[24, 780] loss: 0.095

[24, 810] loss: 0.077

[24, 840] loss: 0.054

[24, 870] loss: 0.090

[24, 900] loss: 0.073

[24, 930] loss: 0.065

[24, 960] loss: 0.091

[24, 990] loss: 0.097

[24, 1020] loss: 0.078

[24, 1050] loss: 0.141

[24, 1080] loss: 0.058

[24, 1110] loss: 0.080

[24, 1140] loss: 0.080

[24, 1170] loss: 0.095

[24, 1200] loss: 0.057

[24, 1230] loss: 0.093

[24, 1260] loss: 0.094

[24, 1290] loss: 0.066

[24, 1320] loss: 0.058

[24, 1350] loss: 0.110

[24, 1380] loss: 0.130

[24, 1410] loss: 0.098

[24, 1440] loss: 0.092

[24, 1470] loss: 0.078

[24, 1500] loss: 0.060

[24, 1530] loss: 0.056

[24, 1560] loss: 0.082

[24, 1590] loss: 0.112

[24, 1620] loss: 0.059

[24, 1650] loss: 0.068

[24, 1680] loss: 0.098

[24, 1710] loss: 0.077

[24, 1740] loss: 0.064

[24, 1770] loss: 0.076

[24, 1800] loss: 0.100

[24, 1830] loss: 0.074

[24, 1860] loss: 0.090

[24, 1890] loss: 0.068

[24, 1920] loss: 0.060

[24, 1950] loss: 0.075

[24, 1980] loss: 0.086

[24, 2010] loss: 0.066

[24, 2040] loss: 0.086

[24, 2070] loss: 0.105

[24, 2100] loss: 0.072

[24, 2130] loss: 0.068

[24, 2160] loss: 0.082

[24, 2190] loss: 0.053

ovft_intermediate_models/epoch23_deep.pt saved.


evaluating on training set...

Accuracy on test images: 0.984369

epoch 23 accuracy on train set is: 0.9843693202471828

evaluating on training set takes 68 seconds.

shallow_train shallow_test scratch_train scratch_test deep_train deep_test

0 0.849396 0.875682 0.277854 0.251999 0.923823 0.943384

1 0.868889 0.891948 0.473737 0.542803 0.934456 0.956379

2 0.877249 0.90976 0.651877 0.724555 0.943725 0.96883

3 0.883224 0.89522 0.742321 0.83197 0.952699 0.974827

4 0.883679 0.908033 0.776081 0.848419 0.9619 0.977735

5 0.894311 0.913304 0.830153 0.892857 0.968511 0.980189

6 0.897492 0.917212 0.839399 0.894039 0.963104 0.977281

7 0.88979 0.907306 0.869706 0.914304 0.965921 0.978372

8 0.889427 0.907034 0.882656 0.925391 0.973532 0.980734

9 0.890722 0.906307 0.903194 0.951018 0.975782 0.987459

10 0.896924 0.902308 0.910305 0.941567 0.971624 0.971374

11 0.884996 0.895856 0.919257 0.959833 0.976986 0.982552

12 0.898628 0.925754 0.923687 0.96365 0.97635 0.983824

13 0.901808 0.914667 0.934115 0.961923 0.974918 0.98337

14 0.896356 0.921756 0.928253 0.96365 0.978031 0.983915

15 0.903694 0.921392 0.936796 0.96574 0.978667 0.984369

16 0.903967 0.917121 0.942794 0.970102 0.976531 0.986732

17 0.899696 0.916303 0.944089 0.969829 0.978485 0.981825

18 0.900695 0.923391 0.94293 0.972465 0.978235 0.988459

19 0.903512 0.913577 0.949041 0.973646 0.983733 0.988913

20 0.900127 0.922483 0.949677 0.973101 0.982052 0.989549

21 0.895265 0.915485 0.935751 0.955107 0.979235 0.978917

22 0.90274 0.92012 0.952449 0.973646 0.985551 0.987823

23 0.904966 0.917757 0.953085 0.97619 0.984369 NaN

24 0.905852 0.929844 0.958879 0.979916 NaN NaN

25 0.898878 0.91285 0.959333 0.980189 NaN NaN

26 0.906761 0.915394 0.960492 0.977463 NaN NaN

27 0.904444 0.911759 0.966058 0.984824 NaN NaN

28 0.905103 0.922846 0.957425 0.976372 NaN NaN

29 0.908806 0.92112 0.959606 0.976009 NaN NaN

30 0.907874 0.914213 0.964195 0.985642 NaN NaN

31 0.899014 0.901763 0.964626 0.985551 NaN NaN

32 0.910555 0.930298 0.96424 0.985187 NaN NaN

33 0.910782 0.917757 0.961469 0.980825 NaN NaN

34 0.8999 0.917666 0.964967 0.985369 NaN NaN

35 0.899855 0.914577 0.970306 0.98655 NaN NaN

36 0.902854 0.916031 0.967489 0.978281 NaN NaN

37 0.900536 0.913304 0.972146 0.987913 NaN NaN

38 0.903921 0.91803 0.968284 0.985642 NaN NaN

39 0.905693 0.919302 0.966898 0.987005 NaN NaN

evaluating on test set...

Accuracy on test images: 0.985732

epoch 23 accuracy on test set is: 0.9857324609233006

evaluating on test set takes 16 seconds.

shallow_train shallow_test scratch_train scratch_test deep_train deep_test

0 0.849396 0.875682 0.277854 0.251999 0.923823 0.943384

1 0.868889 0.891948 0.473737 0.542803 0.934456 0.956379

2 0.877249 0.90976 0.651877 0.724555 0.943725 0.96883

3 0.883224 0.89522 0.742321 0.83197 0.952699 0.974827

4 0.883679 0.908033 0.776081 0.848419 0.9619 0.977735

5 0.894311 0.913304 0.830153 0.892857 0.968511 0.980189

6 0.897492 0.917212 0.839399 0.894039 0.963104 0.977281

7 0.88979 0.907306 0.869706 0.914304 0.965921 0.978372

8 0.889427 0.907034 0.882656 0.925391 0.973532 0.980734

9 0.890722 0.906307 0.903194 0.951018 0.975782 0.987459

10 0.896924 0.902308 0.910305 0.941567 0.971624 0.971374

11 0.884996 0.895856 0.919257 0.959833 0.976986 0.982552

12 0.898628 0.925754 0.923687 0.96365 0.97635 0.983824

13 0.901808 0.914667 0.934115 0.961923 0.974918 0.98337

14 0.896356 0.921756 0.928253 0.96365 0.978031 0.983915

15 0.903694 0.921392 0.936796 0.96574 0.978667 0.984369

16 0.903967 0.917121 0.942794 0.970102 0.976531 0.986732

17 0.899696 0.916303 0.944089 0.969829 0.978485 0.981825

18 0.900695 0.923391 0.94293 0.972465 0.978235 0.988459

19 0.903512 0.913577 0.949041 0.973646 0.983733 0.988913

20 0.900127 0.922483 0.949677 0.973101 0.982052 0.989549

21 0.895265 0.915485 0.935751 0.955107 0.979235 0.978917

22 0.90274 0.92012 0.952449 0.973646 0.985551 0.987823

23 0.904966 0.917757 0.953085 0.97619 0.984369 0.985732

24 0.905852 0.929844 0.958879 0.979916 NaN NaN

25 0.898878 0.91285 0.959333 0.980189 NaN NaN

26 0.906761 0.915394 0.960492 0.977463 NaN NaN

27 0.904444 0.911759 0.966058 0.984824 NaN NaN

28 0.905103 0.922846 0.957425 0.976372 NaN NaN

29 0.908806 0.92112 0.959606 0.976009 NaN NaN

30 0.907874 0.914213 0.964195 0.985642 NaN NaN

31 0.899014 0.901763 0.964626 0.985551 NaN NaN

32 0.910555 0.930298 0.96424 0.985187 NaN NaN

33 0.910782 0.917757 0.961469 0.980825 NaN NaN

34 0.8999 0.917666 0.964967 0.985369 NaN NaN

35 0.899855 0.914577 0.970306 0.98655 NaN NaN

36 0.902854 0.916031 0.967489 0.978281 NaN NaN

37 0.900536 0.913304 0.972146 0.987913 NaN NaN

38 0.903921 0.91803 0.968284 0.985642 NaN NaN

39 0.905693 0.919302 0.966898 0.987005 NaN NaN

epoch 23 takes 331 seconds.

[25, 30] loss: 0.063

[25, 60] loss: 0.111

[25, 90] loss: 0.118

[25, 120] loss: 0.085

[25, 150] loss: 0.066

[25, 180] loss: 0.064

[25, 210] loss: 0.102

[25, 240] loss: 0.062

[25, 270] loss: 0.050

[25, 300] loss: 0.104

[25, 330] loss: 0.063

[25, 360] loss: 0.084

[25, 390] loss: 0.040

[25, 420] loss: 0.055

[25, 450] loss: 0.058

[25, 480] loss: 0.081

[25, 510] loss: 0.059

[25, 540] loss: 0.096

[25, 570] loss: 0.096

[25, 600] loss: 0.081

[25, 630] loss: 0.076

[25, 660] loss: 0.110

[25, 690] loss: 0.084

[25, 720] loss: 0.070

[25, 750] loss: 0.065

[25, 780] loss: 0.066

[25, 810] loss: 0.089

[25, 840] loss: 0.062

[25, 870] loss: 0.065

[25, 900] loss: 0.095

[25, 930] loss: 0.069

[25, 960] loss: 0.098

[25, 990] loss: 0.043

[25, 1020] loss: 0.032

[25, 1050] loss: 0.052

[25, 1080] loss: 0.087

[25, 1110] loss: 0.096

[25, 1140] loss: 0.078

[25, 1170] loss: 0.049

[25, 1200] loss: 0.094

[25, 1230] loss: 0.094

[25, 1260] loss: 0.097

[25, 1290] loss: 0.088

[25, 1320] loss: 0.085

[25, 1350] loss: 0.086

[25, 1380] loss: 0.053

[25, 1410] loss: 0.107

[25, 1440] loss: 0.067

[25, 1470] loss: 0.064

[25, 1500] loss: 0.061

[25, 1530] loss: 0.104

[25, 1560] loss: 0.048

[25, 1590] loss: 0.065

[25, 1620] loss: 0.090

[25, 1650] loss: 0.061

[25, 1680] loss: 0.047

[25, 1710] loss: 0.069

[25, 1740] loss: 0.076

[25, 1770] loss: 0.072

[25, 1800] loss: 0.053

[25, 1830] loss: 0.048

[25, 1860] loss: 0.086

[25, 1890] loss: 0.116

[25, 1920] loss: 0.058

[25, 1950] loss: 0.067

[25, 1980] loss: 0.089

[25, 2010] loss: 0.067

[25, 2040] loss: 0.069

[25, 2070] loss: 0.100

[25, 2100] loss: 0.100

[25, 2130] loss: 0.059

[25, 2160] loss: 0.079

[25, 2190] loss: 0.130

ovft_intermediate_models/epoch24_deep.pt saved.


evaluating on training set...

Accuracy on test images: 0.982734

epoch 24 accuracy on train set is: 0.9827335514358415

evaluating on training set takes 64 seconds.

shallow_train shallow_test scratch_train scratch_test deep_train deep_test

0 0.849396 0.875682 0.277854 0.251999 0.923823 0.943384

1 0.868889 0.891948 0.473737 0.542803 0.934456 0.956379

2 0.877249 0.90976 0.651877 0.724555 0.943725 0.96883

3 0.883224 0.89522 0.742321 0.83197 0.952699 0.974827

4 0.883679 0.908033 0.776081 0.848419 0.9619 0.977735

5 0.894311 0.913304 0.830153 0.892857 0.968511 0.980189

6 0.897492 0.917212 0.839399 0.894039 0.963104 0.977281

7 0.88979 0.907306 0.869706 0.914304 0.965921 0.978372

8 0.889427 0.907034 0.882656 0.925391 0.973532 0.980734

9 0.890722 0.906307 0.903194 0.951018 0.975782 0.987459

10 0.896924 0.902308 0.910305 0.941567 0.971624 0.971374

11 0.884996 0.895856 0.919257 0.959833 0.976986 0.982552

12 0.898628 0.925754 0.923687 0.96365 0.97635 0.983824

13 0.901808 0.914667 0.934115 0.961923 0.974918 0.98337

14 0.896356 0.921756 0.928253 0.96365 0.978031 0.983915

15 0.903694 0.921392 0.936796 0.96574 0.978667 0.984369

16 0.903967 0.917121 0.942794 0.970102 0.976531 0.986732

17 0.899696 0.916303 0.944089 0.969829 0.978485 0.981825

18 0.900695 0.923391 0.94293 0.972465 0.978235 0.988459

19 0.903512 0.913577 0.949041 0.973646 0.983733 0.988913

20 0.900127 0.922483 0.949677 0.973101 0.982052 0.989549

21 0.895265 0.915485 0.935751 0.955107 0.979235 0.978917

22 0.90274 0.92012 0.952449 0.973646 0.985551 0.987823

23 0.904966 0.917757 0.953085 0.97619 0.984369 0.985732

24 0.905852 0.929844 0.958879 0.979916 0.982734 NaN

25 0.898878 0.91285 0.959333 0.980189 NaN NaN

26 0.906761 0.915394 0.960492 0.977463 NaN NaN

27 0.904444 0.911759 0.966058 0.984824 NaN NaN

28 0.905103 0.922846 0.957425 0.976372 NaN NaN

29 0.908806 0.92112 0.959606 0.976009 NaN NaN

30 0.907874 0.914213 0.964195 0.985642 NaN NaN

31 0.899014 0.901763 0.964626 0.985551 NaN NaN

32 0.910555 0.930298 0.96424 0.985187 NaN NaN

33 0.910782 0.917757 0.961469 0.980825 NaN NaN

34 0.8999 0.917666 0.964967 0.985369 NaN NaN

35 0.899855 0.914577 0.970306 0.98655 NaN NaN

36 0.902854 0.916031 0.967489 0.978281 NaN NaN

37 0.900536 0.913304 0.972146 0.987913 NaN NaN

38 0.903921 0.91803 0.968284 0.985642 NaN NaN

39 0.905693 0.919302 0.966898 0.987005 NaN NaN

evaluating on test set...

Accuracy on test images: 0.983824

epoch 24 accuracy on test set is: 0.9838240639767357

evaluating on test set takes 16 seconds.

shallow_train shallow_test scratch_train scratch_test deep_train deep_test

0 0.849396 0.875682 0.277854 0.251999 0.923823 0.943384

1 0.868889 0.891948 0.473737 0.542803 0.934456 0.956379

2 0.877249 0.90976 0.651877 0.724555 0.943725 0.96883

3 0.883224 0.89522 0.742321 0.83197 0.952699 0.974827

4 0.883679 0.908033 0.776081 0.848419 0.9619 0.977735

5 0.894311 0.913304 0.830153 0.892857 0.968511 0.980189

6 0.897492 0.917212 0.839399 0.894039 0.963104 0.977281

7 0.88979 0.907306 0.869706 0.914304 0.965921 0.978372

8 0.889427 0.907034 0.882656 0.925391 0.973532 0.980734

9 0.890722 0.906307 0.903194 0.951018 0.975782 0.987459

10 0.896924 0.902308 0.910305 0.941567 0.971624 0.971374

11 0.884996 0.895856 0.919257 0.959833 0.976986 0.982552

12 0.898628 0.925754 0.923687 0.96365 0.97635 0.983824

13 0.901808 0.914667 0.934115 0.961923 0.974918 0.98337

14 0.896356 0.921756 0.928253 0.96365 0.978031 0.983915

15 0.903694 0.921392 0.936796 0.96574 0.978667 0.984369

16 0.903967 0.917121 0.942794 0.970102 0.976531 0.986732

17 0.899696 0.916303 0.944089 0.969829 0.978485 0.981825

18 0.900695 0.923391 0.94293 0.972465 0.978235 0.988459

19 0.903512 0.913577 0.949041 0.973646 0.983733 0.988913

20 0.900127 0.922483 0.949677 0.973101 0.982052 0.989549

21 0.895265 0.915485 0.935751 0.955107 0.979235 0.978917

22 0.90274 0.92012 0.952449 0.973646 0.985551 0.987823

23 0.904966 0.917757 0.953085 0.97619 0.984369 0.985732

24 0.905852 0.929844 0.958879 0.979916 0.982734 0.983824

25 0.898878 0.91285 0.959333 0.980189 NaN NaN

26 0.906761 0.915394 0.960492 0.977463 NaN NaN

27 0.904444 0.911759 0.966058 0.984824 NaN NaN

28 0.905103 0.922846 0.957425 0.976372 NaN NaN

29 0.908806 0.92112 0.959606 0.976009 NaN NaN

30 0.907874 0.914213 0.964195 0.985642 NaN NaN

31 0.899014 0.901763 0.964626 0.985551 NaN NaN

32 0.910555 0.930298 0.96424 0.985187 NaN NaN

33 0.910782 0.917757 0.961469 0.980825 NaN NaN

34 0.8999 0.917666 0.964967 0.985369 NaN NaN

35 0.899855 0.914577 0.970306 0.98655 NaN NaN

36 0.902854 0.916031 0.967489 0.978281 NaN NaN

37 0.900536 0.913304 0.972146 0.987913 NaN NaN

38 0.903921 0.91803 0.968284 0.985642 NaN NaN

39 0.905693 0.919302 0.966898 0.987005 NaN NaN

epoch 24 takes 321 seconds.

[26, 30] loss: 0.046

[26, 60] loss: 0.070

[26, 90] loss: 0.091

[26, 120] loss: 0.090

[26, 150] loss: 0.080

[26, 180] loss: 0.104

[26, 210] loss: 0.079

[26, 240] loss: 0.061

[26, 270] loss: 0.084

[26, 300] loss: 0.092

[26, 330] loss: 0.043

[26, 360] loss: 0.066

[26, 390] loss: 0.069

[26, 420] loss: 0.100

[26, 450] loss: 0.066

[26, 480] loss: 0.067

[26, 510] loss: 0.092

[26, 540] loss: 0.066

[26, 570] loss: 0.058

[26, 600] loss: 0.080

[26, 630] loss: 0.115

[26, 660] loss: 0.064

[26, 690] loss: 0.057

[26, 720] loss: 0.103

[26, 750] loss: 0.060

[26, 780] loss: 0.057

[26, 810] loss: 0.047

[26, 840] loss: 0.095

[26, 870] loss: 0.108

[26, 900] loss: 0.075

[26, 930] loss: 0.080

[26, 960] loss: 0.064

[26, 990] loss: 0.068

[26, 1020] loss: 0.086

[26, 1050] loss: 0.049

[26, 1080] loss: 0.084

[26, 1110] loss: 0.055

[26, 1140] loss: 0.049

[26, 1170] loss: 0.101

[26, 1200] loss: 0.065

[26, 1230] loss: 0.069

[26, 1260] loss: 0.080

[26, 1290] loss: 0.045

[26, 1320] loss: 0.048

[26, 1350] loss: 0.078

[26, 1380] loss: 0.073

[26, 1410] loss: 0.070

[26, 1440] loss: 0.072

[26, 1470] loss: 0.071

[26, 1500] loss: 0.047

[26, 1530] loss: 0.083

[26, 1560] loss: 0.092

[26, 1590] loss: 0.063

[26, 1620] loss: 0.113

[26, 1650] loss: 0.099

[26, 1680] loss: 0.087

[26, 1710] loss: 0.070

[26, 1740] loss: 0.073

[26, 1770] loss: 0.086

[26, 1800] loss: 0.077

[26, 1830] loss: 0.050

[26, 1860] loss: 0.063

[26, 1890] loss: 0.077

[26, 1920] loss: 0.041

[26, 1950] loss: 0.042

[26, 1980] loss: 0.046

[26, 2010] loss: 0.101

[26, 2040] loss: 0.065

[26, 2070] loss: 0.052

[26, 2100] loss: 0.070

[26, 2130] loss: 0.049

[26, 2160] loss: 0.074

[26, 2190] loss: 0.108

ovft_intermediate_models/epoch25_deep.pt saved.


evaluating on training set...

Accuracy on test images: 0.984347

epoch 25 accuracy on train set is: 0.9843466012359142

evaluating on training set takes 64 seconds.

shallow_train shallow_test scratch_train scratch_test deep_train deep_test

0 0.849396 0.875682 0.277854 0.251999 0.923823 0.943384

1 0.868889 0.891948 0.473737 0.542803 0.934456 0.956379

2 0.877249 0.90976 0.651877 0.724555 0.943725 0.96883

3 0.883224 0.89522 0.742321 0.83197 0.952699 0.974827

4 0.883679 0.908033 0.776081 0.848419 0.9619 0.977735

5 0.894311 0.913304 0.830153 0.892857 0.968511 0.980189

6 0.897492 0.917212 0.839399 0.894039 0.963104 0.977281

7 0.88979 0.907306 0.869706 0.914304 0.965921 0.978372

8 0.889427 0.907034 0.882656 0.925391 0.973532 0.980734

9 0.890722 0.906307 0.903194 0.951018 0.975782 0.987459

10 0.896924 0.902308 0.910305 0.941567 0.971624 0.971374

11 0.884996 0.895856 0.919257 0.959833 0.976986 0.982552

12 0.898628 0.925754 0.923687 0.96365 0.97635 0.983824

13 0.901808 0.914667 0.934115 0.961923 0.974918 0.98337

14 0.896356 0.921756 0.928253 0.96365 0.978031 0.983915

15 0.903694 0.921392 0.936796 0.96574 0.978667 0.984369

16 0.903967 0.917121 0.942794 0.970102 0.976531 0.986732

17 0.899696 0.916303 0.944089 0.969829 0.978485 0.981825

18 0.900695 0.923391 0.94293 0.972465 0.978235 0.988459

19 0.903512 0.913577 0.949041 0.973646 0.983733 0.988913

20 0.900127 0.922483 0.949677 0.973101 0.982052 0.989549

21 0.895265 0.915485 0.935751 0.955107 0.979235 0.978917

22 0.90274 0.92012 0.952449 0.973646 0.985551 0.987823

23 0.904966 0.917757 0.953085 0.97619 0.984369 0.985732

24 0.905852 0.929844 0.958879 0.979916 0.982734 0.983824

25 0.898878 0.91285 0.959333 0.980189 0.984347 NaN

26 0.906761 0.915394 0.960492 0.977463 NaN NaN

27 0.904444 0.911759 0.966058 0.984824 NaN NaN

28 0.905103 0.922846 0.957425 0.976372 NaN NaN

29 0.908806 0.92112 0.959606 0.976009 NaN NaN

30 0.907874 0.914213 0.964195 0.985642 NaN NaN

31 0.899014 0.901763 0.964626 0.985551 NaN NaN

32 0.910555 0.930298 0.96424 0.985187 NaN NaN

33 0.910782 0.917757 0.961469 0.980825 NaN NaN

34 0.8999 0.917666 0.964967 0.985369 NaN NaN

35 0.899855 0.914577 0.970306 0.98655 NaN NaN

36 0.902854 0.916031 0.967489 0.978281 NaN NaN

37 0.900536 0.913304 0.972146 0.987913 NaN NaN

38 0.903921 0.91803 0.968284 0.985642 NaN NaN

39 0.905693 0.919302 0.966898 0.987005 NaN NaN

evaluating on test set...

Accuracy on test images: 0.986914

epoch 25 accuracy on test set is: 0.9869138495092693

evaluating on test set takes 16 seconds.

shallow_train shallow_test scratch_train scratch_test deep_train deep_test

0 0.849396 0.875682 0.277854 0.251999 0.923823 0.943384

1 0.868889 0.891948 0.473737 0.542803 0.934456 0.956379

2 0.877249 0.90976 0.651877 0.724555 0.943725 0.96883

3 0.883224 0.89522 0.742321 0.83197 0.952699 0.974827

4 0.883679 0.908033 0.776081 0.848419 0.9619 0.977735

5 0.894311 0.913304 0.830153 0.892857 0.968511 0.980189

6 0.897492 0.917212 0.839399 0.894039 0.963104 0.977281

7 0.88979 0.907306 0.869706 0.914304 0.965921 0.978372

8 0.889427 0.907034 0.882656 0.925391 0.973532 0.980734

9 0.890722 0.906307 0.903194 0.951018 0.975782 0.987459

10 0.896924 0.902308 0.910305 0.941567 0.971624 0.971374

11 0.884996 0.895856 0.919257 0.959833 0.976986 0.982552

12 0.898628 0.925754 0.923687 0.96365 0.97635 0.983824

13 0.901808 0.914667 0.934115 0.961923 0.974918 0.98337

14 0.896356 0.921756 0.928253 0.96365 0.978031 0.983915

15 0.903694 0.921392 0.936796 0.96574 0.978667 0.984369

16 0.903967 0.917121 0.942794 0.970102 0.976531 0.986732

17 0.899696 0.916303 0.944089 0.969829 0.978485 0.981825

18 0.900695 0.923391 0.94293 0.972465 0.978235 0.988459

19 0.903512 0.913577 0.949041 0.973646 0.983733 0.988913

20 0.900127 0.922483 0.949677 0.973101 0.982052 0.989549

21 0.895265 0.915485 0.935751 0.955107 0.979235 0.978917

22 0.90274 0.92012 0.952449 0.973646 0.985551 0.987823

23 0.904966 0.917757 0.953085 0.97619 0.984369 0.985732

24 0.905852 0.929844 0.958879 0.979916 0.982734 0.983824

25 0.898878 0.91285 0.959333 0.980189 0.984347 0.986914

26 0.906761 0.915394 0.960492 0.977463 NaN NaN

27 0.904444 0.911759 0.966058 0.984824 NaN NaN

28 0.905103 0.922846 0.957425 0.976372 NaN NaN

29 0.908806 0.92112 0.959606 0.976009 NaN NaN

30 0.907874 0.914213 0.964195 0.985642 NaN NaN

31 0.899014 0.901763 0.964626 0.985551 NaN NaN

32 0.910555 0.930298 0.96424 0.985187 NaN NaN

33 0.910782 0.917757 0.961469 0.980825 NaN NaN

34 0.8999 0.917666 0.964967 0.985369 NaN NaN

35 0.899855 0.914577 0.970306 0.98655 NaN NaN

36 0.902854 0.916031 0.967489 0.978281 NaN NaN

37 0.900536 0.913304 0.972146 0.987913 NaN NaN

38 0.903921 0.91803 0.968284 0.985642 NaN NaN

39 0.905693 0.919302 0.966898 0.987005 NaN NaN

epoch 25 takes 318 seconds.

[27, 30] loss: 0.079

[27, 60] loss: 0.060

[27, 90] loss: 0.062

[27, 120] loss: 0.071

[27, 150] loss: 0.061

[27, 180] loss: 0.075

[27, 210] loss: 0.078

[27, 240] loss: 0.068

[27, 270] loss: 0.063

[27, 300] loss: 0.069

[27, 330] loss: 0.062

[27, 360] loss: 0.079

[27, 390] loss: 0.081

[27, 420] loss: 0.084

[27, 450] loss: 0.063

[27, 480] loss: 0.066

[27, 510] loss: 0.073

[27, 540] loss: 0.053

[27, 570] loss: 0.043

[27, 600] loss: 0.060

[27, 630] loss: 0.085

[27, 660] loss: 0.044

[27, 690] loss: 0.078

[27, 720] loss: 0.052

[27, 750] loss: 0.054

[27, 780] loss: 0.093

[27, 810] loss: 0.065

[27, 840] loss: 0.098

[27, 870] loss: 0.061

[27, 900] loss: 0.096

[27, 930] loss: 0.089

[27, 960] loss: 0.077

[27, 990] loss: 0.061

[27, 1020] loss: 0.052

[27, 1050] loss: 0.078

[27, 1080] loss: 0.074

[27, 1110] loss: 0.060

[27, 1140] loss: 0.112

[27, 1170] loss: 0.089

[27, 1200] loss: 0.071

[27, 1230] loss: 0.054

[27, 1260] loss: 0.065

[27, 1290] loss: 0.050

[27, 1320] loss: 0.063

[27, 1350] loss: 0.107

[27, 1380] loss: 0.061

[27, 1410] loss: 0.081

[27, 1440] loss: 0.070

[27, 1470] loss: 0.075

[27, 1500] loss: 0.070

[27, 1530] loss: 0.046

[27, 1560] loss: 0.096

[27, 1590] loss: 0.075

[27, 1620] loss: 0.083

[27, 1650] loss: 0.094

[27, 1680] loss: 0.068

[27, 1710] loss: 0.078

[27, 1740] loss: 0.101

[27, 1770] loss: 0.072

[27, 1800] loss: 0.061

[27, 1830] loss: 0.063

[27, 1860] loss: 0.047

[27, 1890] loss: 0.073

[27, 1920] loss: 0.063

[27, 1950] loss: 0.057

[27, 1980] loss: 0.066

[27, 2010] loss: 0.078

[27, 2040] loss: 0.058

[27, 2070] loss: 0.045

[27, 2100] loss: 0.093

[27, 2130] loss: 0.076

[27, 2160] loss: 0.099

[27, 2190] loss: 0.061

ovft_intermediate_models/epoch26_deep.pt saved.


evaluating on training set...

Accuracy on test images: 0.984597

epoch 26 accuracy on train set is: 0.9845965103598692

evaluating on training set takes 64 seconds.

shallow_train shallow_test scratch_train scratch_test deep_train deep_test

0 0.849396 0.875682 0.277854 0.251999 0.923823 0.943384

1 0.868889 0.891948 0.473737 0.542803 0.934456 0.956379

2 0.877249 0.90976 0.651877 0.724555 0.943725 0.96883

3 0.883224 0.89522 0.742321 0.83197 0.952699 0.974827

4 0.883679 0.908033 0.776081 0.848419 0.9619 0.977735

5 0.894311 0.913304 0.830153 0.892857 0.968511 0.980189

6 0.897492 0.917212 0.839399 0.894039 0.963104 0.977281

7 0.88979 0.907306 0.869706 0.914304 0.965921 0.978372

8 0.889427 0.907034 0.882656 0.925391 0.973532 0.980734

9 0.890722 0.906307 0.903194 0.951018 0.975782 0.987459

10 0.896924 0.902308 0.910305 0.941567 0.971624 0.971374

11 0.884996 0.895856 0.919257 0.959833 0.976986 0.982552

12 0.898628 0.925754 0.923687 0.96365 0.97635 0.983824

13 0.901808 0.914667 0.934115 0.961923 0.974918 0.98337

14 0.896356 0.921756 0.928253 0.96365 0.978031 0.983915

15 0.903694 0.921392 0.936796 0.96574 0.978667 0.984369

16 0.903967 0.917121 0.942794 0.970102 0.976531 0.986732

17 0.899696 0.916303 0.944089 0.969829 0.978485 0.981825

18 0.900695 0.923391 0.94293 0.972465 0.978235 0.988459

19 0.903512 0.913577 0.949041 0.973646 0.983733 0.988913

20 0.900127 0.922483 0.949677 0.973101 0.982052 0.989549

21 0.895265 0.915485 0.935751 0.955107 0.979235 0.978917

22 0.90274 0.92012 0.952449 0.973646 0.985551 0.987823

23 0.904966 0.917757 0.953085 0.97619 0.984369 0.985732

24 0.905852 0.929844 0.958879 0.979916 0.982734 0.983824

25 0.898878 0.91285 0.959333 0.980189 0.984347 0.986914

26 0.906761 0.915394 0.960492 0.977463 0.984597 NaN

27 0.904444 0.911759 0.966058 0.984824 NaN NaN

28 0.905103 0.922846 0.957425 0.976372 NaN NaN

29 0.908806 0.92112 0.959606 0.976009 NaN NaN

30 0.907874 0.914213 0.964195 0.985642 NaN NaN

31 0.899014 0.901763 0.964626 0.985551 NaN NaN

32 0.910555 0.930298 0.96424 0.985187 NaN NaN

33 0.910782 0.917757 0.961469 0.980825 NaN NaN

34 0.8999 0.917666 0.964967 0.985369 NaN NaN

35 0.899855 0.914577 0.970306 0.98655 NaN NaN

36 0.902854 0.916031 0.967489 0.978281 NaN NaN

37 0.900536 0.913304 0.972146 0.987913 NaN NaN

38 0.903921 0.91803 0.968284 0.985642 NaN NaN

39 0.905693 0.919302 0.966898 0.987005 NaN NaN

evaluating on test set...

Accuracy on test images: 0.990640

epoch 26 accuracy on test set is: 0.9906397673573246

evaluating on test set takes 16 seconds.

shallow_train shallow_test scratch_train scratch_test deep_train deep_test

0 0.849396 0.875682 0.277854 0.251999 0.923823 0.943384

1 0.868889 0.891948 0.473737 0.542803 0.934456 0.956379

2 0.877249 0.90976 0.651877 0.724555 0.943725 0.96883

3 0.883224 0.89522 0.742321 0.83197 0.952699 0.974827

4 0.883679 0.908033 0.776081 0.848419 0.9619 0.977735

5 0.894311 0.913304 0.830153 0.892857 0.968511 0.980189

6 0.897492 0.917212 0.839399 0.894039 0.963104 0.977281

7 0.88979 0.907306 0.869706 0.914304 0.965921 0.978372

8 0.889427 0.907034 0.882656 0.925391 0.973532 0.980734

9 0.890722 0.906307 0.903194 0.951018 0.975782 0.987459

10 0.896924 0.902308 0.910305 0.941567 0.971624 0.971374

11 0.884996 0.895856 0.919257 0.959833 0.976986 0.982552

12 0.898628 0.925754 0.923687 0.96365 0.97635 0.983824

13 0.901808 0.914667 0.934115 0.961923 0.974918 0.98337

14 0.896356 0.921756 0.928253 0.96365 0.978031 0.983915

15 0.903694 0.921392 0.936796 0.96574 0.978667 0.984369

16 0.903967 0.917121 0.942794 0.970102 0.976531 0.986732

17 0.899696 0.916303 0.944089 0.969829 0.978485 0.981825

18 0.900695 0.923391 0.94293 0.972465 0.978235 0.988459

19 0.903512 0.913577 0.949041 0.973646 0.983733 0.988913

20 0.900127 0.922483 0.949677 0.973101 0.982052 0.989549

21 0.895265 0.915485 0.935751 0.955107 0.979235 0.978917

22 0.90274 0.92012 0.952449 0.973646 0.985551 0.987823

23 0.904966 0.917757 0.953085 0.97619 0.984369 0.985732

24 0.905852 0.929844 0.958879 0.979916 0.982734 0.983824

25 0.898878 0.91285 0.959333 0.980189 0.984347 0.986914

26 0.906761 0.915394 0.960492 0.977463 0.984597 0.99064

27 0.904444 0.911759 0.966058 0.984824 NaN NaN

28 0.905103 0.922846 0.957425 0.976372 NaN NaN

29 0.908806 0.92112 0.959606 0.976009 NaN NaN

30 0.907874 0.914213 0.964195 0.985642 NaN NaN

31 0.899014 0.901763 0.964626 0.985551 NaN NaN

32 0.910555 0.930298 0.96424 0.985187 NaN NaN

33 0.910782 0.917757 0.961469 0.980825 NaN NaN

34 0.8999 0.917666 0.964967 0.985369 NaN NaN

35 0.899855 0.914577 0.970306 0.98655 NaN NaN

36 0.902854 0.916031 0.967489 0.978281 NaN NaN

37 0.900536 0.913304 0.972146 0.987913 NaN NaN

38 0.903921 0.91803 0.968284 0.985642 NaN NaN

39 0.905693 0.919302 0.966898 0.987005 NaN NaN

epoch 26 takes 318 seconds.

[28, 30] loss: 0.108

[28, 60] loss: 0.079

[28, 90] loss: 0.098

[28, 120] loss: 0.063

[28, 150] loss: 0.062

[28, 180] loss: 0.070

[28, 210] loss: 0.068

[28, 240] loss: 0.061

[28, 270] loss: 0.081

[28, 300] loss: 0.058

[28, 330] loss: 0.076

[28, 360] loss: 0.057

[28, 390] loss: 0.085

[28, 420] loss: 0.052

[28, 450] loss: 0.063

[28, 480] loss: 0.090

[28, 510] loss: 0.080

[28, 540] loss: 0.085

[28, 570] loss: 0.073

[28, 600] loss: 0.066

[28, 630] loss: 0.096

[28, 660] loss: 0.043

[28, 690] loss: 0.065

[28, 720] loss: 0.067

[28, 750] loss: 0.084

[28, 780] loss: 0.090

[28, 810] loss: 0.047

[28, 840] loss: 0.048

[28, 870] loss: 0.087

[28, 900] loss: 0.075

[28, 930] loss: 0.056

[28, 960] loss: 0.072

[28, 990] loss: 0.061

[28, 1020] loss: 0.038

[28, 1050] loss: 0.093

[28, 1080] loss: 0.058

[28, 1110] loss: 0.085

[28, 1140] loss: 0.077

[28, 1170] loss: 0.090

[28, 1200] loss: 0.082

[28, 1230] loss: 0.082

[28, 1260] loss: 0.102

[28, 1290] loss: 0.065

[28, 1320] loss: 0.066

[28, 1350] loss: 0.086

[28, 1380] loss: 0.066

[28, 1410] loss: 0.047

[28, 1440] loss: 0.124

[28, 1470] loss: 0.066

[28, 1500] loss: 0.042

[28, 1530] loss: 0.073

[28, 1560] loss: 0.092

[28, 1590] loss: 0.061

[28, 1620] loss: 0.085

[28, 1650] loss: 0.067

[28, 1680] loss: 0.072

[28, 1710] loss: 0.083

[28, 1740] loss: 0.075

[28, 1770] loss: 0.041

[28, 1800] loss: 0.055

[28, 1830] loss: 0.055

[28, 1860] loss: 0.048

[28, 1890] loss: 0.048

[28, 1920] loss: 0.051

[28, 1950] loss: 0.059

[28, 1980] loss: 0.081

[28, 2010] loss: 0.086

[28, 2040] loss: 0.132

[28, 2070] loss: 0.080

[28, 2100] loss: 0.047

[28, 2130] loss: 0.051

[28, 2160] loss: 0.094

[28, 2190] loss: 0.068

ovft_intermediate_models/epoch27_deep.pt saved.


evaluating on training set...

Accuracy on test images: 0.986755

epoch 27 accuracy on train set is: 0.986754816430389

evaluating on training set takes 63 seconds.

shallow_train shallow_test scratch_train scratch_test deep_train deep_test

0 0.849396 0.875682 0.277854 0.251999 0.923823 0.943384

1 0.868889 0.891948 0.473737 0.542803 0.934456 0.956379

2 0.877249 0.90976 0.651877 0.724555 0.943725 0.96883

3 0.883224 0.89522 0.742321 0.83197 0.952699 0.974827

4 0.883679 0.908033 0.776081 0.848419 0.9619 0.977735

5 0.894311 0.913304 0.830153 0.892857 0.968511 0.980189

6 0.897492 0.917212 0.839399 0.894039 0.963104 0.977281

7 0.88979 0.907306 0.869706 0.914304 0.965921 0.978372

8 0.889427 0.907034 0.882656 0.925391 0.973532 0.980734

9 0.890722 0.906307 0.903194 0.951018 0.975782 0.987459

10 0.896924 0.902308 0.910305 0.941567 0.971624 0.971374

11 0.884996 0.895856 0.919257 0.959833 0.976986 0.982552

12 0.898628 0.925754 0.923687 0.96365 0.97635 0.983824

13 0.901808 0.914667 0.934115 0.961923 0.974918 0.98337

14 0.896356 0.921756 0.928253 0.96365 0.978031 0.983915

15 0.903694 0.921392 0.936796 0.96574 0.978667 0.984369

16 0.903967 0.917121 0.942794 0.970102 0.976531 0.986732

17 0.899696 0.916303 0.944089 0.969829 0.978485 0.981825

18 0.900695 0.923391 0.94293 0.972465 0.978235 0.988459

19 0.903512 0.913577 0.949041 0.973646 0.983733 0.988913

20 0.900127 0.922483 0.949677 0.973101 0.982052 0.989549

21 0.895265 0.915485 0.935751 0.955107 0.979235 0.978917

22 0.90274 0.92012 0.952449 0.973646 0.985551 0.987823

23 0.904966 0.917757 0.953085 0.97619 0.984369 0.985732

24 0.905852 0.929844 0.958879 0.979916 0.982734 0.983824

25 0.898878 0.91285 0.959333 0.980189 0.984347 0.986914

26 0.906761 0.915394 0.960492 0.977463 0.984597 0.99064

27 0.904444 0.911759 0.966058 0.984824 0.986755 NaN

28 0.905103 0.922846 0.957425 0.976372 NaN NaN

29 0.908806 0.92112 0.959606 0.976009 NaN NaN

30 0.907874 0.914213 0.964195 0.985642 NaN NaN

31 0.899014 0.901763 0.964626 0.985551 NaN NaN

32 0.910555 0.930298 0.96424 0.985187 NaN NaN

33 0.910782 0.917757 0.961469 0.980825 NaN NaN

34 0.8999 0.917666 0.964967 0.985369 NaN NaN

35 0.899855 0.914577 0.970306 0.98655 NaN NaN

36 0.902854 0.916031 0.967489 0.978281 NaN NaN

37 0.900536 0.913304 0.972146 0.987913 NaN NaN

38 0.903921 0.91803 0.968284 0.985642 NaN NaN

39 0.905693 0.919302 0.966898 0.987005 NaN NaN

evaluating on test set...

Accuracy on test images: 0.990640

epoch 27 accuracy on test set is: 0.9906397673573246

evaluating on test set takes 16 seconds.

shallow_train shallow_test scratch_train scratch_test deep_train deep_test

0 0.849396 0.875682 0.277854 0.251999 0.923823 0.943384

1 0.868889 0.891948 0.473737 0.542803 0.934456 0.956379

2 0.877249 0.90976 0.651877 0.724555 0.943725 0.96883

3 0.883224 0.89522 0.742321 0.83197 0.952699 0.974827

4 0.883679 0.908033 0.776081 0.848419 0.9619 0.977735

5 0.894311 0.913304 0.830153 0.892857 0.968511 0.980189

6 0.897492 0.917212 0.839399 0.894039 0.963104 0.977281

7 0.88979 0.907306 0.869706 0.914304 0.965921 0.978372

8 0.889427 0.907034 0.882656 0.925391 0.973532 0.980734

9 0.890722 0.906307 0.903194 0.951018 0.975782 0.987459

10 0.896924 0.902308 0.910305 0.941567 0.971624 0.971374

11 0.884996 0.895856 0.919257 0.959833 0.976986 0.982552

12 0.898628 0.925754 0.923687 0.96365 0.97635 0.983824

13 0.901808 0.914667 0.934115 0.961923 0.974918 0.98337

14 0.896356 0.921756 0.928253 0.96365 0.978031 0.983915

15 0.903694 0.921392 0.936796 0.96574 0.978667 0.984369

16 0.903967 0.917121 0.942794 0.970102 0.976531 0.986732

17 0.899696 0.916303 0.944089 0.969829 0.978485 0.981825

18 0.900695 0.923391 0.94293 0.972465 0.978235 0.988459

19 0.903512 0.913577 0.949041 0.973646 0.983733 0.988913

20 0.900127 0.922483 0.949677 0.973101 0.982052 0.989549

21 0.895265 0.915485 0.935751 0.955107 0.979235 0.978917

22 0.90274 0.92012 0.952449 0.973646 0.985551 0.987823

23 0.904966 0.917757 0.953085 0.97619 0.984369 0.985732

24 0.905852 0.929844 0.958879 0.979916 0.982734 0.983824

25 0.898878 0.91285 0.959333 0.980189 0.984347 0.986914

26 0.906761 0.915394 0.960492 0.977463 0.984597 0.99064

27 0.904444 0.911759 0.966058 0.984824 0.986755 0.99064

28 0.905103 0.922846 0.957425 0.976372 NaN NaN

29 0.908806 0.92112 0.959606 0.976009 NaN NaN

30 0.907874 0.914213 0.964195 0.985642 NaN NaN

31 0.899014 0.901763 0.964626 0.985551 NaN NaN

32 0.910555 0.930298 0.96424 0.985187 NaN NaN

33 0.910782 0.917757 0.961469 0.980825 NaN NaN

34 0.8999 0.917666 0.964967 0.985369 NaN NaN

35 0.899855 0.914577 0.970306 0.98655 NaN NaN

36 0.902854 0.916031 0.967489 0.978281 NaN NaN

37 0.900536 0.913304 0.972146 0.987913 NaN NaN

38 0.903921 0.91803 0.968284 0.985642 NaN NaN

39 0.905693 0.919302 0.966898 0.987005 NaN NaN

epoch 27 takes 314 seconds.

[29, 30] loss: 0.059

[29, 60] loss: 0.045

[29, 90] loss: 0.055

[29, 120] loss: 0.084

[29, 150] loss: 0.077

[29, 180] loss: 0.080

[29, 210] loss: 0.049

[29, 240] loss: 0.063

[29, 270] loss: 0.063

[29, 300] loss: 0.102

[29, 330] loss: 0.073

[29, 360] loss: 0.061

[29, 390] loss: 0.101

[29, 420] loss: 0.060

[29, 450] loss: 0.074

[29, 480] loss: 0.067

[29, 510] loss: 0.110

[29, 540] loss: 0.069

[29, 570] loss: 0.087

[29, 600] loss: 0.062

[29, 630] loss: 0.076

[29, 660] loss: 0.071

[29, 690] loss: 0.068

[29, 720] loss: 0.040

[29, 750] loss: 0.038

[29, 780] loss: 0.088

[29, 810] loss: 0.068

[29, 840] loss: 0.076

[29, 870] loss: 0.112

[29, 900] loss: 0.059

[29, 930] loss: 0.079

[29, 960] loss: 0.049

[29, 990] loss: 0.040

[29, 1020] loss: 0.087

[29, 1050] loss: 0.058

[29, 1080] loss: 0.087

[29, 1110] loss: 0.057

[29, 1140] loss: 0.031

[29, 1170] loss: 0.087

[29, 1200] loss: 0.062

[29, 1230] loss: 0.063

[29, 1260] loss: 0.070

[29, 1290] loss: 0.062

[29, 1320] loss: 0.066

[29, 1350] loss: 0.063

[29, 1380] loss: 0.105

[29, 1410] loss: 0.076

[29, 1440] loss: 0.063

[29, 1470] loss: 0.081

[29, 1500] loss: 0.040

[29, 1530] loss: 0.063

[29, 1560] loss: 0.082

[29, 1590] loss: 0.071

[29, 1620] loss: 0.070

[29, 1650] loss: 0.065

[29, 1680] loss: 0.062

[29, 1710] loss: 0.075

[29, 1740] loss: 0.087

[29, 1770] loss: 0.024

[29, 1800] loss: 0.043

[29, 1830] loss: 0.076

[29, 1860] loss: 0.071

[29, 1890] loss: 0.066

[29, 1920] loss: 0.090

[29, 1950] loss: 0.059

[29, 1980] loss: 0.077

[29, 2010] loss: 0.093

[29, 2040] loss: 0.062

[29, 2070] loss: 0.069

[29, 2100] loss: 0.052

[29, 2130] loss: 0.062

[29, 2160] loss: 0.069

[29, 2190] loss: 0.081

ovft_intermediate_models/epoch28_deep.pt saved.


evaluating on training set...

Accuracy on test images: 0.985687

epoch 28 accuracy on train set is: 0.9856870229007634

evaluating on training set takes 63 seconds.

shallow_train shallow_test scratch_train scratch_test deep_train deep_test

0 0.849396 0.875682 0.277854 0.251999 0.923823 0.943384

1 0.868889 0.891948 0.473737 0.542803 0.934456 0.956379

2 0.877249 0.90976 0.651877 0.724555 0.943725 0.96883

3 0.883224 0.89522 0.742321 0.83197 0.952699 0.974827

4 0.883679 0.908033 0.776081 0.848419 0.9619 0.977735

5 0.894311 0.913304 0.830153 0.892857 0.968511 0.980189

6 0.897492 0.917212 0.839399 0.894039 0.963104 0.977281

7 0.88979 0.907306 0.869706 0.914304 0.965921 0.978372

8 0.889427 0.907034 0.882656 0.925391 0.973532 0.980734

9 0.890722 0.906307 0.903194 0.951018 0.975782 0.987459

10 0.896924 0.902308 0.910305 0.941567 0.971624 0.971374

11 0.884996 0.895856 0.919257 0.959833 0.976986 0.982552

12 0.898628 0.925754 0.923687 0.96365 0.97635 0.983824

13 0.901808 0.914667 0.934115 0.961923 0.974918 0.98337

14 0.896356 0.921756 0.928253 0.96365 0.978031 0.983915

15 0.903694 0.921392 0.936796 0.96574 0.978667 0.984369

16 0.903967 0.917121 0.942794 0.970102 0.976531 0.986732

17 0.899696 0.916303 0.944089 0.969829 0.978485 0.981825

18 0.900695 0.923391 0.94293 0.972465 0.978235 0.988459

19 0.903512 0.913577 0.949041 0.973646 0.983733 0.988913

20 0.900127 0.922483 0.949677 0.973101 0.982052 0.989549

21 0.895265 0.915485 0.935751 0.955107 0.979235 0.978917

22 0.90274 0.92012 0.952449 0.973646 0.985551 0.987823

23 0.904966 0.917757 0.953085 0.97619 0.984369 0.985732

24 0.905852 0.929844 0.958879 0.979916 0.982734 0.983824

25 0.898878 0.91285 0.959333 0.980189 0.984347 0.986914

26 0.906761 0.915394 0.960492 0.977463 0.984597 0.99064

27 0.904444 0.911759 0.966058 0.984824 0.986755 0.99064

28 0.905103 0.922846 0.957425 0.976372 0.985687 NaN

29 0.908806 0.92112 0.959606 0.976009 NaN NaN

30 0.907874 0.914213 0.964195 0.985642 NaN NaN

31 0.899014 0.901763 0.964626 0.985551 NaN NaN

32 0.910555 0.930298 0.96424 0.985187 NaN NaN

33 0.910782 0.917757 0.961469 0.980825 NaN NaN

34 0.8999 0.917666 0.964967 0.985369 NaN NaN

35 0.899855 0.914577 0.970306 0.98655 NaN NaN

36 0.902854 0.916031 0.967489 0.978281 NaN NaN

37 0.900536 0.913304 0.972146 0.987913 NaN NaN

38 0.903921 0.91803 0.968284 0.985642 NaN NaN

39 0.905693 0.919302 0.966898 0.987005 NaN NaN

evaluating on test set...

Accuracy on test images: 0.988277

epoch 28 accuracy on test set is: 0.9882769901853872

evaluating on test set takes 16 seconds.

shallow_train shallow_test scratch_train scratch_test deep_train deep_test

0 0.849396 0.875682 0.277854 0.251999 0.923823 0.943384

1 0.868889 0.891948 0.473737 0.542803 0.934456 0.956379

2 0.877249 0.90976 0.651877 0.724555 0.943725 0.96883

3 0.883224 0.89522 0.742321 0.83197 0.952699 0.974827

4 0.883679 0.908033 0.776081 0.848419 0.9619 0.977735

5 0.894311 0.913304 0.830153 0.892857 0.968511 0.980189

6 0.897492 0.917212 0.839399 0.894039 0.963104 0.977281

7 0.88979 0.907306 0.869706 0.914304 0.965921 0.978372

8 0.889427 0.907034 0.882656 0.925391 0.973532 0.980734

9 0.890722 0.906307 0.903194 0.951018 0.975782 0.987459

10 0.896924 0.902308 0.910305 0.941567 0.971624 0.971374

11 0.884996 0.895856 0.919257 0.959833 0.976986 0.982552

12 0.898628 0.925754 0.923687 0.96365 0.97635 0.983824

13 0.901808 0.914667 0.934115 0.961923 0.974918 0.98337

14 0.896356 0.921756 0.928253 0.96365 0.978031 0.983915

15 0.903694 0.921392 0.936796 0.96574 0.978667 0.984369

16 0.903967 0.917121 0.942794 0.970102 0.976531 0.986732

17 0.899696 0.916303 0.944089 0.969829 0.978485 0.981825

18 0.900695 0.923391 0.94293 0.972465 0.978235 0.988459

19 0.903512 0.913577 0.949041 0.973646 0.983733 0.988913

20 0.900127 0.922483 0.949677 0.973101 0.982052 0.989549

21 0.895265 0.915485 0.935751 0.955107 0.979235 0.978917

22 0.90274 0.92012 0.952449 0.973646 0.985551 0.987823

23 0.904966 0.917757 0.953085 0.97619 0.984369 0.985732

24 0.905852 0.929844 0.958879 0.979916 0.982734 0.983824

25 0.898878 0.91285 0.959333 0.980189 0.984347 0.986914

26 0.906761 0.915394 0.960492 0.977463 0.984597 0.99064

27 0.904444 0.911759 0.966058 0.984824 0.986755 0.99064

28 0.905103 0.922846 0.957425 0.976372 0.985687 0.988277

29 0.908806 0.92112 0.959606 0.976009 NaN NaN

30 0.907874 0.914213 0.964195 0.985642 NaN NaN

31 0.899014 0.901763 0.964626 0.985551 NaN NaN

32 0.910555 0.930298 0.96424 0.985187 NaN NaN

33 0.910782 0.917757 0.961469 0.980825 NaN NaN

34 0.8999 0.917666 0.964967 0.985369 NaN NaN

35 0.899855 0.914577 0.970306 0.98655 NaN NaN

36 0.902854 0.916031 0.967489 0.978281 NaN NaN

37 0.900536 0.913304 0.972146 0.987913 NaN NaN

38 0.903921 0.91803 0.968284 0.985642 NaN NaN

39 0.905693 0.919302 0.966898 0.987005 NaN NaN

epoch 28 takes 314 seconds.

[30, 30] loss: 0.040

[30, 60] loss: 0.096

[30, 90] loss: 0.063

[30, 120] loss: 0.060

[30, 150] loss: 0.078

[30, 180] loss: 0.047

[30, 210] loss: 0.049

[30, 240] loss: 0.040

[30, 270] loss: 0.099

[30, 300] loss: 0.063

[30, 330] loss: 0.065

[30, 360] loss: 0.095

[30, 390] loss: 0.090

[30, 420] loss: 0.057

[30, 450] loss: 0.068

[30, 480] loss: 0.063

[30, 510] loss: 0.051

[30, 540] loss: 0.045

[30, 570] loss: 0.072

[30, 600] loss: 0.103

[30, 630] loss: 0.071

[30, 660] loss: 0.071

[30, 690] loss: 0.050

[30, 720] loss: 0.070

[30, 750] loss: 0.053

[30, 780] loss: 0.079

[30, 810] loss: 0.075

[30, 840] loss: 0.051

[30, 870] loss: 0.057

[30, 900] loss: 0.040

[30, 930] loss: 0.077

[30, 960] loss: 0.091

[30, 990] loss: 0.084

[30, 1020] loss: 0.067

[30, 1050] loss: 0.056

[30, 1080] loss: 0.089

[30, 1110] loss: 0.054

[30, 1140] loss: 0.084

[30, 1170] loss: 0.081

[30, 1200] loss: 0.055

[30, 1230] loss: 0.073

[30, 1260] loss: 0.093

[30, 1290] loss: 0.054

[30, 1320] loss: 0.089

[30, 1350] loss: 0.094

[30, 1380] loss: 0.090

[30, 1410] loss: 0.079

[30, 1440] loss: 0.033

[30, 1470] loss: 0.054

[30, 1500] loss: 0.097

[30, 1530] loss: 0.043

[30, 1560] loss: 0.068

[30, 1590] loss: 0.048

[30, 1620] loss: 0.040

[30, 1650] loss: 0.061

[30, 1680] loss: 0.074

[30, 1710] loss: 0.065

[30, 1740] loss: 0.060

[30, 1770] loss: 0.055

[30, 1800] loss: 0.041

[30, 1830] loss: 0.076

[30, 1860] loss: 0.070

[30, 1890] loss: 0.055

[30, 1920] loss: 0.074

[30, 1950] loss: 0.088

[30, 1980] loss: 0.060

[30, 2010] loss: 0.057

[30, 2040] loss: 0.072

[30, 2070] loss: 0.056

[30, 2100] loss: 0.098

[30, 2130] loss: 0.084

[30, 2160] loss: 0.059

[30, 2190] loss: 0.061

ovft_intermediate_models/epoch29_deep.pt saved.


evaluating on training set...

Accuracy on test images: 0.985619

epoch 29 accuracy on train set is: 0.9856188658669575

evaluating on training set takes 64 seconds.

shallow_train shallow_test scratch_train scratch_test deep_train deep_test

0 0.849396 0.875682 0.277854 0.251999 0.923823 0.943384

1 0.868889 0.891948 0.473737 0.542803 0.934456 0.956379

2 0.877249 0.90976 0.651877 0.724555 0.943725 0.96883

3 0.883224 0.89522 0.742321 0.83197 0.952699 0.974827

4 0.883679 0.908033 0.776081 0.848419 0.9619 0.977735

5 0.894311 0.913304 0.830153 0.892857 0.968511 0.980189

6 0.897492 0.917212 0.839399 0.894039 0.963104 0.977281

7 0.88979 0.907306 0.869706 0.914304 0.965921 0.978372

8 0.889427 0.907034 0.882656 0.925391 0.973532 0.980734

9 0.890722 0.906307 0.903194 0.951018 0.975782 0.987459

10 0.896924 0.902308 0.910305 0.941567 0.971624 0.971374

11 0.884996 0.895856 0.919257 0.959833 0.976986 0.982552

12 0.898628 0.925754 0.923687 0.96365 0.97635 0.983824

13 0.901808 0.914667 0.934115 0.961923 0.974918 0.98337

14 0.896356 0.921756 0.928253 0.96365 0.978031 0.983915

15 0.903694 0.921392 0.936796 0.96574 0.978667 0.984369

16 0.903967 0.917121 0.942794 0.970102 0.976531 0.986732

17 0.899696 0.916303 0.944089 0.969829 0.978485 0.981825

18 0.900695 0.923391 0.94293 0.972465 0.978235 0.988459

19 0.903512 0.913577 0.949041 0.973646 0.983733 0.988913

20 0.900127 0.922483 0.949677 0.973101 0.982052 0.989549

21 0.895265 0.915485 0.935751 0.955107 0.979235 0.978917

22 0.90274 0.92012 0.952449 0.973646 0.985551 0.987823

23 0.904966 0.917757 0.953085 0.97619 0.984369 0.985732

24 0.905852 0.929844 0.958879 0.979916 0.982734 0.983824

25 0.898878 0.91285 0.959333 0.980189 0.984347 0.986914

26 0.906761 0.915394 0.960492 0.977463 0.984597 0.99064

27 0.904444 0.911759 0.966058 0.984824 0.986755 0.99064

28 0.905103 0.922846 0.957425 0.976372 0.985687 0.988277

29 0.908806 0.92112 0.959606 0.976009 0.985619 NaN

30 0.907874 0.914213 0.964195 0.985642 NaN NaN

31 0.899014 0.901763 0.964626 0.985551 NaN NaN

32 0.910555 0.930298 0.96424 0.985187 NaN NaN

33 0.910782 0.917757 0.961469 0.980825 NaN NaN

34 0.8999 0.917666 0.964967 0.985369 NaN NaN

35 0.899855 0.914577 0.970306 0.98655 NaN NaN

36 0.902854 0.916031 0.967489 0.978281 NaN NaN

37 0.900536 0.913304 0.972146 0.987913 NaN NaN

38 0.903921 0.91803 0.968284 0.985642 NaN NaN

39 0.905693 0.919302 0.966898 0.987005 NaN NaN

evaluating on test set...

Accuracy on test images: 0.991730

epoch 29 accuracy on test set is: 0.9917302798982188

evaluating on test set takes 16 seconds.

shallow_train shallow_test scratch_train scratch_test deep_train deep_test

0 0.849396 0.875682 0.277854 0.251999 0.923823 0.943384

1 0.868889 0.891948 0.473737 0.542803 0.934456 0.956379

2 0.877249 0.90976 0.651877 0.724555 0.943725 0.96883

3 0.883224 0.89522 0.742321 0.83197 0.952699 0.974827

4 0.883679 0.908033 0.776081 0.848419 0.9619 0.977735

5 0.894311 0.913304 0.830153 0.892857 0.968511 0.980189

6 0.897492 0.917212 0.839399 0.894039 0.963104 0.977281

7 0.88979 0.907306 0.869706 0.914304 0.965921 0.978372

8 0.889427 0.907034 0.882656 0.925391 0.973532 0.980734

9 0.890722 0.906307 0.903194 0.951018 0.975782 0.987459

10 0.896924 0.902308 0.910305 0.941567 0.971624 0.971374

11 0.884996 0.895856 0.919257 0.959833 0.976986 0.982552

12 0.898628 0.925754 0.923687 0.96365 0.97635 0.983824

13 0.901808 0.914667 0.934115 0.961923 0.974918 0.98337

14 0.896356 0.921756 0.928253 0.96365 0.978031 0.983915

15 0.903694 0.921392 0.936796 0.96574 0.978667 0.984369

16 0.903967 0.917121 0.942794 0.970102 0.976531 0.986732

17 0.899696 0.916303 0.944089 0.969829 0.978485 0.981825

18 0.900695 0.923391 0.94293 0.972465 0.978235 0.988459

19 0.903512 0.913577 0.949041 0.973646 0.983733 0.988913

20 0.900127 0.922483 0.949677 0.973101 0.982052 0.989549

21 0.895265 0.915485 0.935751 0.955107 0.979235 0.978917

22 0.90274 0.92012 0.952449 0.973646 0.985551 0.987823

23 0.904966 0.917757 0.953085 0.97619 0.984369 0.985732

24 0.905852 0.929844 0.958879 0.979916 0.982734 0.983824

25 0.898878 0.91285 0.959333 0.980189 0.984347 0.986914

26 0.906761 0.915394 0.960492 0.977463 0.984597 0.99064

27 0.904444 0.911759 0.966058 0.984824 0.986755 0.99064

28 0.905103 0.922846 0.957425 0.976372 0.985687 0.988277

29 0.908806 0.92112 0.959606 0.976009 0.985619 0.99173

30 0.907874 0.914213 0.964195 0.985642 NaN NaN

31 0.899014 0.901763 0.964626 0.985551 NaN NaN

32 0.910555 0.930298 0.96424 0.985187 NaN NaN

33 0.910782 0.917757 0.961469 0.980825 NaN NaN

34 0.8999 0.917666 0.964967 0.985369 NaN NaN

35 0.899855 0.914577 0.970306 0.98655 NaN NaN

36 0.902854 0.916031 0.967489 0.978281 NaN NaN

37 0.900536 0.913304 0.972146 0.987913 NaN NaN

38 0.903921 0.91803 0.968284 0.985642 NaN NaN

39 0.905693 0.919302 0.966898 0.987005 NaN NaN

epoch 29 takes 314 seconds.

[31, 30] loss: 0.080

[31, 60] loss: 0.069

[31, 90] loss: 0.054

[31, 120] loss: 0.054

[31, 150] loss: 0.058

[31, 180] loss: 0.053

[31, 210] loss: 0.059

[31, 240] loss: 0.026

[31, 270] loss: 0.047

[31, 300] loss: 0.050

[31, 330] loss: 0.052

[31, 360] loss: 0.037

[31, 390] loss: 0.051

[31, 420] loss: 0.071

[31, 450] loss: 0.046

[31, 480] loss: 0.056

[31, 510] loss: 0.075

[31, 540] loss: 0.080

[31, 570] loss: 0.080

[31, 600] loss: 0.098

[31, 630] loss: 0.065

[31, 660] loss: 0.073

[31, 690] loss: 0.063

[31, 720] loss: 0.056

[31, 750] loss: 0.061

[31, 780] loss: 0.047

[31, 810] loss: 0.069

[31, 840] loss: 0.088

[31, 870] loss: 0.079

[31, 900] loss: 0.067

[31, 930] loss: 0.083

[31, 960] loss: 0.073

[31, 990] loss: 0.043

[31, 1020] loss: 0.057

[31, 1050] loss: 0.064

[31, 1080] loss: 0.037

[31, 1110] loss: 0.040

[31, 1140] loss: 0.079

[31, 1170] loss: 0.086

[31, 1200] loss: 0.068

[31, 1230] loss: 0.079

[31, 1260] loss: 0.098

[31, 1290] loss: 0.040

[31, 1320] loss: 0.058

[31, 1350] loss: 0.059

[31, 1380] loss: 0.079

[31, 1410] loss: 0.060

[31, 1440] loss: 0.039

[31, 1470] loss: 0.056

[31, 1500] loss: 0.054

[31, 1530] loss: 0.067

[31, 1560] loss: 0.083

[31, 1590] loss: 0.072

[31, 1620] loss: 0.050

[31, 1650] loss: 0.069

[31, 1680] loss: 0.096

[31, 1710] loss: 0.083

[31, 1740] loss: 0.068

[31, 1770] loss: 0.093

[31, 1800] loss: 0.070

[31, 1830] loss: 0.083

[31, 1860] loss: 0.090

[31, 1890] loss: 0.068

[31, 1920] loss: 0.055

[31, 1950] loss: 0.054

[31, 1980] loss: 0.084

[31, 2010] loss: 0.062

[31, 2040] loss: 0.088

[31, 2070] loss: 0.106

[31, 2100] loss: 0.055

[31, 2130] loss: 0.045

[31, 2160] loss: 0.056

[31, 2190] loss: 0.070

ovft_intermediate_models/epoch30_deep.pt saved.


evaluating on training set...

Accuracy on test images: 0.985846

epoch 30 accuracy on train set is: 0.9858460559796438

evaluating on training set takes 67 seconds.

shallow_train shallow_test scratch_train scratch_test deep_train deep_test

0 0.849396 0.875682 0.277854 0.251999 0.923823 0.943384

1 0.868889 0.891948 0.473737 0.542803 0.934456 0.956379

2 0.877249 0.90976 0.651877 0.724555 0.943725 0.96883

3 0.883224 0.89522 0.742321 0.83197 0.952699 0.974827

4 0.883679 0.908033 0.776081 0.848419 0.9619 0.977735

5 0.894311 0.913304 0.830153 0.892857 0.968511 0.980189

6 0.897492 0.917212 0.839399 0.894039 0.963104 0.977281

7 0.88979 0.907306 0.869706 0.914304 0.965921 0.978372

8 0.889427 0.907034 0.882656 0.925391 0.973532 0.980734

9 0.890722 0.906307 0.903194 0.951018 0.975782 0.987459

10 0.896924 0.902308 0.910305 0.941567 0.971624 0.971374

11 0.884996 0.895856 0.919257 0.959833 0.976986 0.982552

12 0.898628 0.925754 0.923687 0.96365 0.97635 0.983824

13 0.901808 0.914667 0.934115 0.961923 0.974918 0.98337

14 0.896356 0.921756 0.928253 0.96365 0.978031 0.983915

15 0.903694 0.921392 0.936796 0.96574 0.978667 0.984369

16 0.903967 0.917121 0.942794 0.970102 0.976531 0.986732

17 0.899696 0.916303 0.944089 0.969829 0.978485 0.981825

18 0.900695 0.923391 0.94293 0.972465 0.978235 0.988459

19 0.903512 0.913577 0.949041 0.973646 0.983733 0.988913

20 0.900127 0.922483 0.949677 0.973101 0.982052 0.989549

21 0.895265 0.915485 0.935751 0.955107 0.979235 0.978917

22 0.90274 0.92012 0.952449 0.973646 0.985551 0.987823

23 0.904966 0.917757 0.953085 0.97619 0.984369 0.985732

24 0.905852 0.929844 0.958879 0.979916 0.982734 0.983824

25 0.898878 0.91285 0.959333 0.980189 0.984347 0.986914

26 0.906761 0.915394 0.960492 0.977463 0.984597 0.99064

27 0.904444 0.911759 0.966058 0.984824 0.986755 0.99064

28 0.905103 0.922846 0.957425 0.976372 0.985687 0.988277

29 0.908806 0.92112 0.959606 0.976009 0.985619 0.99173

30 0.907874 0.914213 0.964195 0.985642 0.985846 NaN

31 0.899014 0.901763 0.964626 0.985551 NaN NaN

32 0.910555 0.930298 0.96424 0.985187 NaN NaN

33 0.910782 0.917757 0.961469 0.980825 NaN NaN

34 0.8999 0.917666 0.964967 0.985369 NaN NaN

35 0.899855 0.914577 0.970306 0.98655 NaN NaN

36 0.902854 0.916031 0.967489 0.978281 NaN NaN

37 0.900536 0.913304 0.972146 0.987913 NaN NaN

38 0.903921 0.91803 0.968284 0.985642 NaN NaN

39 0.905693 0.919302 0.966898 0.987005 NaN NaN

evaluating on test set...

Accuracy on test images: 0.990004

epoch 30 accuracy on test set is: 0.990003635041803

evaluating on test set takes 16 seconds.

shallow_train shallow_test scratch_train scratch_test deep_train deep_test

0 0.849396 0.875682 0.277854 0.251999 0.923823 0.943384

1 0.868889 0.891948 0.473737 0.542803 0.934456 0.956379

2 0.877249 0.90976 0.651877 0.724555 0.943725 0.96883

3 0.883224 0.89522 0.742321 0.83197 0.952699 0.974827

4 0.883679 0.908033 0.776081 0.848419 0.9619 0.977735

5 0.894311 0.913304 0.830153 0.892857 0.968511 0.980189

6 0.897492 0.917212 0.839399 0.894039 0.963104 0.977281

7 0.88979 0.907306 0.869706 0.914304 0.965921 0.978372

8 0.889427 0.907034 0.882656 0.925391 0.973532 0.980734

9 0.890722 0.906307 0.903194 0.951018 0.975782 0.987459

10 0.896924 0.902308 0.910305 0.941567 0.971624 0.971374

11 0.884996 0.895856 0.919257 0.959833 0.976986 0.982552

12 0.898628 0.925754 0.923687 0.96365 0.97635 0.983824

13 0.901808 0.914667 0.934115 0.961923 0.974918 0.98337

14 0.896356 0.921756 0.928253 0.96365 0.978031 0.983915

15 0.903694 0.921392 0.936796 0.96574 0.978667 0.984369

16 0.903967 0.917121 0.942794 0.970102 0.976531 0.986732

17 0.899696 0.916303 0.944089 0.969829 0.978485 0.981825

18 0.900695 0.923391 0.94293 0.972465 0.978235 0.988459

19 0.903512 0.913577 0.949041 0.973646 0.983733 0.988913

20 0.900127 0.922483 0.949677 0.973101 0.982052 0.989549

21 0.895265 0.915485 0.935751 0.955107 0.979235 0.978917

22 0.90274 0.92012 0.952449 0.973646 0.985551 0.987823

23 0.904966 0.917757 0.953085 0.97619 0.984369 0.985732

24 0.905852 0.929844 0.958879 0.979916 0.982734 0.983824

25 0.898878 0.91285 0.959333 0.980189 0.984347 0.986914

26 0.906761 0.915394 0.960492 0.977463 0.984597 0.99064

27 0.904444 0.911759 0.966058 0.984824 0.986755 0.99064

28 0.905103 0.922846 0.957425 0.976372 0.985687 0.988277

29 0.908806 0.92112 0.959606 0.976009 0.985619 0.99173

30 0.907874 0.914213 0.964195 0.985642 0.985846 0.990004

31 0.899014 0.901763 0.964626 0.985551 NaN NaN

32 0.910555 0.930298 0.96424 0.985187 NaN NaN

33 0.910782 0.917757 0.961469 0.980825 NaN NaN

34 0.8999 0.917666 0.964967 0.985369 NaN NaN

35 0.899855 0.914577 0.970306 0.98655 NaN NaN

36 0.902854 0.916031 0.967489 0.978281 NaN NaN

37 0.900536 0.913304 0.972146 0.987913 NaN NaN

38 0.903921 0.91803 0.968284 0.985642 NaN NaN

39 0.905693 0.919302 0.966898 0.987005 NaN NaN

epoch 30 takes 322 seconds.

[32, 30] loss: 0.038

[32, 60] loss: 0.088

[32, 90] loss: 0.033

[32, 120] loss: 0.064

[32, 150] loss: 0.076

[32, 180] loss: 0.045

[32, 210] loss: 0.056

[32, 240] loss: 0.070

[32, 270] loss: 0.071

[32, 300] loss: 0.036

[32, 330] loss: 0.037

[32, 360] loss: 0.057

[32, 390] loss: 0.104

[32, 420] loss: 0.080

[32, 450] loss: 0.069

[32, 480] loss: 0.080

[32, 510] loss: 0.102

[32, 540] loss: 0.071

[32, 570] loss: 0.097

[32, 600] loss: 0.062

[32, 630] loss: 0.042

[32, 660] loss: 0.072

[32, 690] loss: 0.060

[32, 720] loss: 0.045

[32, 750] loss: 0.078

[32, 780] loss: 0.095

[32, 810] loss: 0.056

[32, 840] loss: 0.039

[32, 870] loss: 0.055

[32, 900] loss: 0.065

[32, 930] loss: 0.038

[32, 960] loss: 0.063

[32, 990] loss: 0.064

[32, 1020] loss: 0.059

[32, 1050] loss: 0.070

[32, 1080] loss: 0.063

[32, 1110] loss: 0.053

[32, 1140] loss: 0.061

[32, 1170] loss: 0.085

[32, 1200] loss: 0.070

[32, 1230] loss: 0.054

[32, 1260] loss: 0.048

[32, 1290] loss: 0.072

[32, 1320] loss: 0.084

[32, 1350] loss: 0.055

[32, 1380] loss: 0.039

[32, 1410] loss: 0.061

[32, 1440] loss: 0.036

[32, 1470] loss: 0.063

[32, 1500] loss: 0.051

[32, 1530] loss: 0.076

[32, 1560] loss: 0.054

[32, 1590] loss: 0.069

[32, 1620] loss: 0.072

[32, 1650] loss: 0.039

[32, 1680] loss: 0.047

[32, 1710] loss: 0.052

[32, 1740] loss: 0.083

[32, 1770] loss: 0.037

[32, 1800] loss: 0.048

[32, 1830] loss: 0.076

[32, 1860] loss: 0.088

[32, 1890] loss: 0.100

[32, 1920] loss: 0.067

[32, 1950] loss: 0.074

[32, 1980] loss: 0.078

[32, 2010] loss: 0.069

[32, 2040] loss: 0.040

[32, 2070] loss: 0.065

[32, 2100] loss: 0.067

[32, 2130] loss: 0.075

[32, 2160] loss: 0.038

[32, 2190] loss: 0.048

ovft_intermediate_models/epoch31_deep.pt saved.


evaluating on training set...

Accuracy on test images: 0.980734

epoch 31 accuracy on train set is: 0.9807342784442021

evaluating on training set takes 64 seconds.

shallow_train shallow_test scratch_train scratch_test deep_train deep_test

0 0.849396 0.875682 0.277854 0.251999 0.923823 0.943384

1 0.868889 0.891948 0.473737 0.542803 0.934456 0.956379

2 0.877249 0.90976 0.651877 0.724555 0.943725 0.96883

3 0.883224 0.89522 0.742321 0.83197 0.952699 0.974827

4 0.883679 0.908033 0.776081 0.848419 0.9619 0.977735

5 0.894311 0.913304 0.830153 0.892857 0.968511 0.980189

6 0.897492 0.917212 0.839399 0.894039 0.963104 0.977281

7 0.88979 0.907306 0.869706 0.914304 0.965921 0.978372

8 0.889427 0.907034 0.882656 0.925391 0.973532 0.980734

9 0.890722 0.906307 0.903194 0.951018 0.975782 0.987459

10 0.896924 0.902308 0.910305 0.941567 0.971624 0.971374

11 0.884996 0.895856 0.919257 0.959833 0.976986 0.982552

12 0.898628 0.925754 0.923687 0.96365 0.97635 0.983824

13 0.901808 0.914667 0.934115 0.961923 0.974918 0.98337

14 0.896356 0.921756 0.928253 0.96365 0.978031 0.983915

15 0.903694 0.921392 0.936796 0.96574 0.978667 0.984369

16 0.903967 0.917121 0.942794 0.970102 0.976531 0.986732

17 0.899696 0.916303 0.944089 0.969829 0.978485 0.981825

18 0.900695 0.923391 0.94293 0.972465 0.978235 0.988459

19 0.903512 0.913577 0.949041 0.973646 0.983733 0.988913

20 0.900127 0.922483 0.949677 0.973101 0.982052 0.989549

21 0.895265 0.915485 0.935751 0.955107 0.979235 0.978917

22 0.90274 0.92012 0.952449 0.973646 0.985551 0.987823

23 0.904966 0.917757 0.953085 0.97619 0.984369 0.985732

24 0.905852 0.929844 0.958879 0.979916 0.982734 0.983824

25 0.898878 0.91285 0.959333 0.980189 0.984347 0.986914

26 0.906761 0.915394 0.960492 0.977463 0.984597 0.99064

27 0.904444 0.911759 0.966058 0.984824 0.986755 0.99064

28 0.905103 0.922846 0.957425 0.976372 0.985687 0.988277

29 0.908806 0.92112 0.959606 0.976009 0.985619 0.99173

30 0.907874 0.914213 0.964195 0.985642 0.985846 0.990004

31 0.899014 0.901763 0.964626 0.985551 0.980734 NaN

32 0.910555 0.930298 0.96424 0.985187 NaN NaN

33 0.910782 0.917757 0.961469 0.980825 NaN NaN

34 0.8999 0.917666 0.964967 0.985369 NaN NaN

35 0.899855 0.914577 0.970306 0.98655 NaN NaN

36 0.902854 0.916031 0.967489 0.978281 NaN NaN

37 0.900536 0.913304 0.972146 0.987913 NaN NaN

38 0.903921 0.91803 0.968284 0.985642 NaN NaN

39 0.905693 0.919302 0.966898 0.987005 NaN NaN

evaluating on test set...

Accuracy on test images: 0.992276

epoch 31 accuracy on test set is: 0.9922755361686659

evaluating on test set takes 16 seconds.

shallow_train shallow_test scratch_train scratch_test deep_train deep_test

0 0.849396 0.875682 0.277854 0.251999 0.923823 0.943384

1 0.868889 0.891948 0.473737 0.542803 0.934456 0.956379

2 0.877249 0.90976 0.651877 0.724555 0.943725 0.96883

3 0.883224 0.89522 0.742321 0.83197 0.952699 0.974827

4 0.883679 0.908033 0.776081 0.848419 0.9619 0.977735

5 0.894311 0.913304 0.830153 0.892857 0.968511 0.980189

6 0.897492 0.917212 0.839399 0.894039 0.963104 0.977281

7 0.88979 0.907306 0.869706 0.914304 0.965921 0.978372

8 0.889427 0.907034 0.882656 0.925391 0.973532 0.980734

9 0.890722 0.906307 0.903194 0.951018 0.975782 0.987459

10 0.896924 0.902308 0.910305 0.941567 0.971624 0.971374

11 0.884996 0.895856 0.919257 0.959833 0.976986 0.982552

12 0.898628 0.925754 0.923687 0.96365 0.97635 0.983824

13 0.901808 0.914667 0.934115 0.961923 0.974918 0.98337

14 0.896356 0.921756 0.928253 0.96365 0.978031 0.983915

15 0.903694 0.921392 0.936796 0.96574 0.978667 0.984369

16 0.903967 0.917121 0.942794 0.970102 0.976531 0.986732

17 0.899696 0.916303 0.944089 0.969829 0.978485 0.981825

18 0.900695 0.923391 0.94293 0.972465 0.978235 0.988459

19 0.903512 0.913577 0.949041 0.973646 0.983733 0.988913

20 0.900127 0.922483 0.949677 0.973101 0.982052 0.989549

21 0.895265 0.915485 0.935751 0.955107 0.979235 0.978917

22 0.90274 0.92012 0.952449 0.973646 0.985551 0.987823

23 0.904966 0.917757 0.953085 0.97619 0.984369 0.985732

24 0.905852 0.929844 0.958879 0.979916 0.982734 0.983824

25 0.898878 0.91285 0.959333 0.980189 0.984347 0.986914

26 0.906761 0.915394 0.960492 0.977463 0.984597 0.99064

27 0.904444 0.911759 0.966058 0.984824 0.986755 0.99064

28 0.905103 0.922846 0.957425 0.976372 0.985687 0.988277

29 0.908806 0.92112 0.959606 0.976009 0.985619 0.99173

30 0.907874 0.914213 0.964195 0.985642 0.985846 0.990004

31 0.899014 0.901763 0.964626 0.985551 0.980734 0.992276

32 0.910555 0.930298 0.96424 0.985187 NaN NaN

33 0.910782 0.917757 0.961469 0.980825 NaN NaN

34 0.8999 0.917666 0.964967 0.985369 NaN NaN

35 0.899855 0.914577 0.970306 0.98655 NaN NaN

36 0.902854 0.916031 0.967489 0.978281 NaN NaN

37 0.900536 0.913304 0.972146 0.987913 NaN NaN

38 0.903921 0.91803 0.968284 0.985642 NaN NaN

39 0.905693 0.919302 0.966898 0.987005 NaN NaN

epoch 31 takes 328 seconds.

[33, 30] loss: 0.049

[33, 60] loss: 0.042

[33, 90] loss: 0.064

[33, 120] loss: 0.049

[33, 150] loss: 0.040

[33, 180] loss: 0.081

[33, 210] loss: 0.059

[33, 240] loss: 0.036

[33, 270] loss: 0.063

[33, 300] loss: 0.095

[33, 330] loss: 0.062

[33, 360] loss: 0.077

[33, 390] loss: 0.052

[33, 420] loss: 0.108

[33, 450] loss: 0.075

[33, 480] loss: 0.062

[33, 510] loss: 0.064

[33, 540] loss: 0.088

[33, 570] loss: 0.092

[33, 600] loss: 0.061

[33, 630] loss: 0.063

[33, 660] loss: 0.069

[33, 690] loss: 0.110

[33, 720] loss: 0.058

[33, 750] loss: 0.063

[33, 780] loss: 0.063

[33, 810] loss: 0.035

[33, 840] loss: 0.073

[33, 870] loss: 0.050

[33, 900] loss: 0.074

[33, 930] loss: 0.074

[33, 960] loss: 0.075

[33, 990] loss: 0.052

[33, 1020] loss: 0.073

[33, 1050] loss: 0.071

[33, 1080] loss: 0.088

[33, 1110] loss: 0.054

[33, 1140] loss: 0.056

[33, 1170] loss: 0.068

[33, 1200] loss: 0.056

[33, 1230] loss: 0.100

[33, 1260] loss: 0.069

[33, 1290] loss: 0.082

[33, 1320] loss: 0.094

[33, 1350] loss: 0.044

[33, 1380] loss: 0.086

[33, 1410] loss: 0.055

[33, 1440] loss: 0.066

[33, 1470] loss: 0.091

[33, 1500] loss: 0.057

[33, 1530] loss: 0.075

[33, 1560] loss: 0.094

[33, 1590] loss: 0.073

[33, 1620] loss: 0.057

[33, 1650] loss: 0.064

[33, 1680] loss: 0.066

[33, 1710] loss: 0.067

[33, 1740] loss: 0.057

[33, 1770] loss: 0.047

[33, 1800] loss: 0.056

[33, 1830] loss: 0.053

[33, 1860] loss: 0.062

[33, 1890] loss: 0.066

[33, 1920] loss: 0.045

[33, 1950] loss: 0.035

[33, 1980] loss: 0.082

[33, 2010] loss: 0.052

[33, 2040] loss: 0.033

[33, 2070] loss: 0.067

[33, 2100] loss: 0.030

[33, 2130] loss: 0.054

[33, 2160] loss: 0.034

[33, 2190] loss: 0.059

ovft_intermediate_models/epoch32_deep.pt saved.


evaluating on training set...

Accuracy on test images: 0.985687

epoch 32 accuracy on train set is: 0.9856870229007634

evaluating on training set takes 66 seconds.

shallow_train shallow_test scratch_train scratch_test deep_train deep_test

0 0.849396 0.875682 0.277854 0.251999 0.923823 0.943384

1 0.868889 0.891948 0.473737 0.542803 0.934456 0.956379

2 0.877249 0.90976 0.651877 0.724555 0.943725 0.96883

3 0.883224 0.89522 0.742321 0.83197 0.952699 0.974827

4 0.883679 0.908033 0.776081 0.848419 0.9619 0.977735

5 0.894311 0.913304 0.830153 0.892857 0.968511 0.980189

6 0.897492 0.917212 0.839399 0.894039 0.963104 0.977281

7 0.88979 0.907306 0.869706 0.914304 0.965921 0.978372

8 0.889427 0.907034 0.882656 0.925391 0.973532 0.980734

9 0.890722 0.906307 0.903194 0.951018 0.975782 0.987459

10 0.896924 0.902308 0.910305 0.941567 0.971624 0.971374

11 0.884996 0.895856 0.919257 0.959833 0.976986 0.982552

12 0.898628 0.925754 0.923687 0.96365 0.97635 0.983824

13 0.901808 0.914667 0.934115 0.961923 0.974918 0.98337

14 0.896356 0.921756 0.928253 0.96365 0.978031 0.983915

15 0.903694 0.921392 0.936796 0.96574 0.978667 0.984369

16 0.903967 0.917121 0.942794 0.970102 0.976531 0.986732

17 0.899696 0.916303 0.944089 0.969829 0.978485 0.981825

18 0.900695 0.923391 0.94293 0.972465 0.978235 0.988459

19 0.903512 0.913577 0.949041 0.973646 0.983733 0.988913

20 0.900127 0.922483 0.949677 0.973101 0.982052 0.989549

21 0.895265 0.915485 0.935751 0.955107 0.979235 0.978917

22 0.90274 0.92012 0.952449 0.973646 0.985551 0.987823

23 0.904966 0.917757 0.953085 0.97619 0.984369 0.985732

24 0.905852 0.929844 0.958879 0.979916 0.982734 0.983824

25 0.898878 0.91285 0.959333 0.980189 0.984347 0.986914

26 0.906761 0.915394 0.960492 0.977463 0.984597 0.99064

27 0.904444 0.911759 0.966058 0.984824 0.986755 0.99064

28 0.905103 0.922846 0.957425 0.976372 0.985687 0.988277

29 0.908806 0.92112 0.959606 0.976009 0.985619 0.99173

30 0.907874 0.914213 0.964195 0.985642 0.985846 0.990004

31 0.899014 0.901763 0.964626 0.985551 0.980734 0.992276

32 0.910555 0.930298 0.96424 0.985187 0.985687 NaN

33 0.910782 0.917757 0.961469 0.980825 NaN NaN

34 0.8999 0.917666 0.964967 0.985369 NaN NaN

35 0.899855 0.914577 0.970306 0.98655 NaN NaN

36 0.902854 0.916031 0.967489 0.978281 NaN NaN

37 0.900536 0.913304 0.972146 0.987913 NaN NaN

38 0.903921 0.91803 0.968284 0.985642 NaN NaN

39 0.905693 0.919302 0.966898 0.987005 NaN NaN

evaluating on test set...

Accuracy on test images: 0.985187

epoch 32 accuracy on test set is: 0.9851872046528535

evaluating on test set takes 16 seconds.

shallow_train shallow_test scratch_train scratch_test deep_train deep_test

0 0.849396 0.875682 0.277854 0.251999 0.923823 0.943384

1 0.868889 0.891948 0.473737 0.542803 0.934456 0.956379

2 0.877249 0.90976 0.651877 0.724555 0.943725 0.96883

3 0.883224 0.89522 0.742321 0.83197 0.952699 0.974827

4 0.883679 0.908033 0.776081 0.848419 0.9619 0.977735

5 0.894311 0.913304 0.830153 0.892857 0.968511 0.980189

6 0.897492 0.917212 0.839399 0.894039 0.963104 0.977281

7 0.88979 0.907306 0.869706 0.914304 0.965921 0.978372

8 0.889427 0.907034 0.882656 0.925391 0.973532 0.980734

9 0.890722 0.906307 0.903194 0.951018 0.975782 0.987459

10 0.896924 0.902308 0.910305 0.941567 0.971624 0.971374

11 0.884996 0.895856 0.919257 0.959833 0.976986 0.982552

12 0.898628 0.925754 0.923687 0.96365 0.97635 0.983824

13 0.901808 0.914667 0.934115 0.961923 0.974918 0.98337

14 0.896356 0.921756 0.928253 0.96365 0.978031 0.983915

15 0.903694 0.921392 0.936796 0.96574 0.978667 0.984369

16 0.903967 0.917121 0.942794 0.970102 0.976531 0.986732

17 0.899696 0.916303 0.944089 0.969829 0.978485 0.981825

18 0.900695 0.923391 0.94293 0.972465 0.978235 0.988459

19 0.903512 0.913577 0.949041 0.973646 0.983733 0.988913

20 0.900127 0.922483 0.949677 0.973101 0.982052 0.989549

21 0.895265 0.915485 0.935751 0.955107 0.979235 0.978917

22 0.90274 0.92012 0.952449 0.973646 0.985551 0.987823

23 0.904966 0.917757 0.953085 0.97619 0.984369 0.985732

24 0.905852 0.929844 0.958879 0.979916 0.982734 0.983824

25 0.898878 0.91285 0.959333 0.980189 0.984347 0.986914

26 0.906761 0.915394 0.960492 0.977463 0.984597 0.99064

27 0.904444 0.911759 0.966058 0.984824 0.986755 0.99064

28 0.905103 0.922846 0.957425 0.976372 0.985687 0.988277

29 0.908806 0.92112 0.959606 0.976009 0.985619 0.99173

30 0.907874 0.914213 0.964195 0.985642 0.985846 0.990004

31 0.899014 0.901763 0.964626 0.985551 0.980734 0.992276

32 0.910555 0.930298 0.96424 0.985187 0.985687 0.985187

33 0.910782 0.917757 0.961469 0.980825 NaN NaN

34 0.8999 0.917666 0.964967 0.985369 NaN NaN

35 0.899855 0.914577 0.970306 0.98655 NaN NaN

36 0.902854 0.916031 0.967489 0.978281 NaN NaN

37 0.900536 0.913304 0.972146 0.987913 NaN NaN

38 0.903921 0.91803 0.968284 0.985642 NaN NaN

39 0.905693 0.919302 0.966898 0.987005 NaN NaN

epoch 32 takes 327 seconds.

[34, 30] loss: 0.080

[34, 60] loss: 0.066

[34, 90] loss: 0.067

[34, 120] loss: 0.105

[34, 150] loss: 0.077

[34, 180] loss: 0.057

[34, 210] loss: 0.052

[34, 240] loss: 0.094

[34, 270] loss: 0.061

[34, 300] loss: 0.042

[34, 330] loss: 0.040

[34, 360] loss: 0.069

[34, 390] loss: 0.056

[34, 420] loss: 0.062

[34, 450] loss: 0.039

[34, 480] loss: 0.065

[34, 510] loss: 0.049

[34, 540] loss: 0.074

[34, 570] loss: 0.051

[34, 600] loss: 0.073

[34, 630] loss: 0.052

[34, 660] loss: 0.070

[34, 690] loss: 0.057

[34, 720] loss: 0.054

[34, 750] loss: 0.079

[34, 780] loss: 0.074

[34, 810] loss: 0.049

[34, 840] loss: 0.041

[34, 870] loss: 0.048

[34, 900] loss: 0.034

[34, 930] loss: 0.052

[34, 960] loss: 0.072

[34, 990] loss: 0.076

[34, 1020] loss: 0.069

[34, 1050] loss: 0.063

[34, 1080] loss: 0.045

[34, 1110] loss: 0.052

[34, 1140] loss: 0.058

[34, 1170] loss: 0.063

[34, 1200] loss: 0.071

[34, 1230] loss: 0.056

[34, 1260] loss: 0.062

[34, 1290] loss: 0.060

[34, 1320] loss: 0.063

[34, 1350] loss: 0.075

[34, 1380] loss: 0.046

[34, 1410] loss: 0.064

[34, 1440] loss: 0.083

[34, 1470] loss: 0.082

[34, 1500] loss: 0.067

[34, 1530] loss: 0.063

[34, 1560] loss: 0.050

[34, 1590] loss: 0.067

[34, 1620] loss: 0.059

[34, 1650] loss: 0.047

[34, 1680] loss: 0.055

[34, 1710] loss: 0.058

[34, 1740] loss: 0.111

[34, 1770] loss: 0.075

[34, 1800] loss: 0.061

[34, 1830] loss: 0.048

[34, 1860] loss: 0.062

[34, 1890] loss: 0.073

[34, 1920] loss: 0.038

[34, 1950] loss: 0.037

[34, 1980] loss: 0.081

[34, 2010] loss: 0.080

[34, 2040] loss: 0.063

[34, 2070] loss: 0.047

[34, 2100] loss: 0.076

[34, 2130] loss: 0.058

[34, 2160] loss: 0.044

[34, 2190] loss: 0.079

ovft_intermediate_models/epoch33_deep.pt saved.


evaluating on training set...

Accuracy on test images: 0.986278

epoch 33 accuracy on train set is: 0.9862777171937477

evaluating on training set takes 67 seconds.

shallow_train shallow_test scratch_train scratch_test deep_train deep_test

0 0.849396 0.875682 0.277854 0.251999 0.923823 0.943384

1 0.868889 0.891948 0.473737 0.542803 0.934456 0.956379

2 0.877249 0.90976 0.651877 0.724555 0.943725 0.96883

3 0.883224 0.89522 0.742321 0.83197 0.952699 0.974827

4 0.883679 0.908033 0.776081 0.848419 0.9619 0.977735

5 0.894311 0.913304 0.830153 0.892857 0.968511 0.980189

6 0.897492 0.917212 0.839399 0.894039 0.963104 0.977281

7 0.88979 0.907306 0.869706 0.914304 0.965921 0.978372

8 0.889427 0.907034 0.882656 0.925391 0.973532 0.980734

9 0.890722 0.906307 0.903194 0.951018 0.975782 0.987459

10 0.896924 0.902308 0.910305 0.941567 0.971624 0.971374

11 0.884996 0.895856 0.919257 0.959833 0.976986 0.982552

12 0.898628 0.925754 0.923687 0.96365 0.97635 0.983824

13 0.901808 0.914667 0.934115 0.961923 0.974918 0.98337

14 0.896356 0.921756 0.928253 0.96365 0.978031 0.983915

15 0.903694 0.921392 0.936796 0.96574 0.978667 0.984369

16 0.903967 0.917121 0.942794 0.970102 0.976531 0.986732

17 0.899696 0.916303 0.944089 0.969829 0.978485 0.981825

18 0.900695 0.923391 0.94293 0.972465 0.978235 0.988459

19 0.903512 0.913577 0.949041 0.973646 0.983733 0.988913

20 0.900127 0.922483 0.949677 0.973101 0.982052 0.989549

21 0.895265 0.915485 0.935751 0.955107 0.979235 0.978917

22 0.90274 0.92012 0.952449 0.973646 0.985551 0.987823

23 0.904966 0.917757 0.953085 0.97619 0.984369 0.985732

24 0.905852 0.929844 0.958879 0.979916 0.982734 0.983824

25 0.898878 0.91285 0.959333 0.980189 0.984347 0.986914

26 0.906761 0.915394 0.960492 0.977463 0.984597 0.99064

27 0.904444 0.911759 0.966058 0.984824 0.986755 0.99064

28 0.905103 0.922846 0.957425 0.976372 0.985687 0.988277

29 0.908806 0.92112 0.959606 0.976009 0.985619 0.99173

30 0.907874 0.914213 0.964195 0.985642 0.985846 0.990004

31 0.899014 0.901763 0.964626 0.985551 0.980734 0.992276

32 0.910555 0.930298 0.96424 0.985187 0.985687 0.985187

33 0.910782 0.917757 0.961469 0.980825 0.986278 NaN

34 0.8999 0.917666 0.964967 0.985369 NaN NaN

35 0.899855 0.914577 0.970306 0.98655 NaN NaN

36 0.902854 0.916031 0.967489 0.978281 NaN NaN

37 0.900536 0.913304 0.972146 0.987913 NaN NaN

38 0.903921 0.91803 0.968284 0.985642 NaN NaN

39 0.905693 0.919302 0.966898 0.987005 NaN NaN

evaluating on test set...

Accuracy on test images: 0.988459

epoch 33 accuracy on test set is: 0.9884587422755362

evaluating on test set takes 17 seconds.

shallow_train shallow_test scratch_train scratch_test deep_train deep_test

0 0.849396 0.875682 0.277854 0.251999 0.923823 0.943384

1 0.868889 0.891948 0.473737 0.542803 0.934456 0.956379

2 0.877249 0.90976 0.651877 0.724555 0.943725 0.96883

3 0.883224 0.89522 0.742321 0.83197 0.952699 0.974827

4 0.883679 0.908033 0.776081 0.848419 0.9619 0.977735

5 0.894311 0.913304 0.830153 0.892857 0.968511 0.980189

6 0.897492 0.917212 0.839399 0.894039 0.963104 0.977281

7 0.88979 0.907306 0.869706 0.914304 0.965921 0.978372

8 0.889427 0.907034 0.882656 0.925391 0.973532 0.980734

9 0.890722 0.906307 0.903194 0.951018 0.975782 0.987459

10 0.896924 0.902308 0.910305 0.941567 0.971624 0.971374

11 0.884996 0.895856 0.919257 0.959833 0.976986 0.982552

12 0.898628 0.925754 0.923687 0.96365 0.97635 0.983824

13 0.901808 0.914667 0.934115 0.961923 0.974918 0.98337

14 0.896356 0.921756 0.928253 0.96365 0.978031 0.983915

15 0.903694 0.921392 0.936796 0.96574 0.978667 0.984369

16 0.903967 0.917121 0.942794 0.970102 0.976531 0.986732

17 0.899696 0.916303 0.944089 0.969829 0.978485 0.981825

18 0.900695 0.923391 0.94293 0.972465 0.978235 0.988459

19 0.903512 0.913577 0.949041 0.973646 0.983733 0.988913

20 0.900127 0.922483 0.949677 0.973101 0.982052 0.989549

21 0.895265 0.915485 0.935751 0.955107 0.979235 0.978917

22 0.90274 0.92012 0.952449 0.973646 0.985551 0.987823

23 0.904966 0.917757 0.953085 0.97619 0.984369 0.985732

24 0.905852 0.929844 0.958879 0.979916 0.982734 0.983824

25 0.898878 0.91285 0.959333 0.980189 0.984347 0.986914

26 0.906761 0.915394 0.960492 0.977463 0.984597 0.99064

27 0.904444 0.911759 0.966058 0.984824 0.986755 0.99064

28 0.905103 0.922846 0.957425 0.976372 0.985687 0.988277

29 0.908806 0.92112 0.959606 0.976009 0.985619 0.99173

30 0.907874 0.914213 0.964195 0.985642 0.985846 0.990004

31 0.899014 0.901763 0.964626 0.985551 0.980734 0.992276

32 0.910555 0.930298 0.96424 0.985187 0.985687 0.985187

33 0.910782 0.917757 0.961469 0.980825 0.986278 0.988459

34 0.8999 0.917666 0.964967 0.985369 NaN NaN

35 0.899855 0.914577 0.970306 0.98655 NaN NaN

36 0.902854 0.916031 0.967489 0.978281 NaN NaN

37 0.900536 0.913304 0.972146 0.987913 NaN NaN

38 0.903921 0.91803 0.968284 0.985642 NaN NaN

39 0.905693 0.919302 0.966898 0.987005 NaN NaN

epoch 33 takes 328 seconds.

[35, 30] loss: 0.041

[35, 60] loss: 0.047

[35, 90] loss: 0.076

[35, 120] loss: 0.065

[35, 150] loss: 0.074

[35, 180] loss: 0.064

[35, 210] loss: 0.062

[35, 240] loss: 0.056

[35, 270] loss: 0.058

[35, 300] loss: 0.090

[35, 330] loss: 0.118

[35, 360] loss: 0.111

[35, 390] loss: 0.057

[35, 420] loss: 0.060

[35, 450] loss: 0.033

[35, 480] loss: 0.050

[35, 510] loss: 0.062

[35, 540] loss: 0.053

[35, 570] loss: 0.057

[35, 600] loss: 0.079

[35, 630] loss: 0.073

[35, 660] loss: 0.055

[35, 690] loss: 0.078

[35, 720] loss: 0.068

[35, 750] loss: 0.035

[35, 780] loss: 0.070

[35, 810] loss: 0.055

[35, 840] loss: 0.080

[35, 870] loss: 0.058

[35, 900] loss: 0.060

[35, 930] loss: 0.065

[35, 960] loss: 0.079

[35, 990] loss: 0.070

[35, 1020] loss: 0.060

[35, 1050] loss: 0.040

[35, 1080] loss: 0.057

[35, 1110] loss: 0.072

[35, 1140] loss: 0.073

[35, 1170] loss: 0.051

[35, 1200] loss: 0.072

[35, 1230] loss: 0.061

[35, 1260] loss: 0.061

[35, 1290] loss: 0.036

[35, 1320] loss: 0.057

[35, 1350] loss: 0.079

[35, 1380] loss: 0.066

[35, 1410] loss: 0.071

[35, 1440] loss: 0.078

[35, 1470] loss: 0.059

[35, 1500] loss: 0.096

[35, 1530] loss: 0.059

[35, 1560] loss: 0.045

[35, 1590] loss: 0.034

[35, 1620] loss: 0.078

[35, 1650] loss: 0.051

[35, 1680] loss: 0.071

[35, 1710] loss: 0.055

[35, 1740] loss: 0.051

[35, 1770] loss: 0.047

[35, 1800] loss: 0.075

[35, 1830] loss: 0.059

[35, 1860] loss: 0.084

[35, 1890] loss: 0.057

[35, 1920] loss: 0.043

[35, 1950] loss: 0.040

[35, 1980] loss: 0.064

[35, 2010] loss: 0.047

[35, 2040] loss: 0.077

[35, 2070] loss: 0.067

[35, 2100] loss: 0.065

[35, 2130] loss: 0.102

[35, 2160] loss: 0.052

[35, 2190] loss: 0.092

ovft_intermediate_models/epoch34_deep.pt saved.


evaluating on training set...

Accuracy on test images: 0.986391

epoch 34 accuracy on train set is: 0.9863913122500909

evaluating on training set takes 68 seconds.

shallow_train shallow_test scratch_train scratch_test deep_train deep_test

0 0.849396 0.875682 0.277854 0.251999 0.923823 0.943384

1 0.868889 0.891948 0.473737 0.542803 0.934456 0.956379

2 0.877249 0.90976 0.651877 0.724555 0.943725 0.96883

3 0.883224 0.89522 0.742321 0.83197 0.952699 0.974827

4 0.883679 0.908033 0.776081 0.848419 0.9619 0.977735

5 0.894311 0.913304 0.830153 0.892857 0.968511 0.980189

6 0.897492 0.917212 0.839399 0.894039 0.963104 0.977281

7 0.88979 0.907306 0.869706 0.914304 0.965921 0.978372

8 0.889427 0.907034 0.882656 0.925391 0.973532 0.980734

9 0.890722 0.906307 0.903194 0.951018 0.975782 0.987459

10 0.896924 0.902308 0.910305 0.941567 0.971624 0.971374

11 0.884996 0.895856 0.919257 0.959833 0.976986 0.982552

12 0.898628 0.925754 0.923687 0.96365 0.97635 0.983824

13 0.901808 0.914667 0.934115 0.961923 0.974918 0.98337

14 0.896356 0.921756 0.928253 0.96365 0.978031 0.983915

15 0.903694 0.921392 0.936796 0.96574 0.978667 0.984369

16 0.903967 0.917121 0.942794 0.970102 0.976531 0.986732

17 0.899696 0.916303 0.944089 0.969829 0.978485 0.981825

18 0.900695 0.923391 0.94293 0.972465 0.978235 0.988459

19 0.903512 0.913577 0.949041 0.973646 0.983733 0.988913

20 0.900127 0.922483 0.949677 0.973101 0.982052 0.989549

21 0.895265 0.915485 0.935751 0.955107 0.979235 0.978917

22 0.90274 0.92012 0.952449 0.973646 0.985551 0.987823

23 0.904966 0.917757 0.953085 0.97619 0.984369 0.985732

24 0.905852 0.929844 0.958879 0.979916 0.982734 0.983824

25 0.898878 0.91285 0.959333 0.980189 0.984347 0.986914

26 0.906761 0.915394 0.960492 0.977463 0.984597 0.99064

27 0.904444 0.911759 0.966058 0.984824 0.986755 0.99064

28 0.905103 0.922846 0.957425 0.976372 0.985687 0.988277

29 0.908806 0.92112 0.959606 0.976009 0.985619 0.99173

30 0.907874 0.914213 0.964195 0.985642 0.985846 0.990004

31 0.899014 0.901763 0.964626 0.985551 0.980734 0.992276

32 0.910555 0.930298 0.96424 0.985187 0.985687 0.985187

33 0.910782 0.917757 0.961469 0.980825 0.986278 0.988459

34 0.8999 0.917666 0.964967 0.985369 0.986391 NaN

35 0.899855 0.914577 0.970306 0.98655 NaN NaN

36 0.902854 0.916031 0.967489 0.978281 NaN NaN

37 0.900536 0.913304 0.972146 0.987913 NaN NaN

38 0.903921 0.91803 0.968284 0.985642 NaN NaN

39 0.905693 0.919302 0.966898 0.987005 NaN NaN

evaluating on test set...

Accuracy on test images: 0.989549

epoch 34 accuracy on test set is: 0.9895492548164304

evaluating on test set takes 16 seconds.

shallow_train shallow_test scratch_train scratch_test deep_train deep_test

0 0.849396 0.875682 0.277854 0.251999 0.923823 0.943384

1 0.868889 0.891948 0.473737 0.542803 0.934456 0.956379

2 0.877249 0.90976 0.651877 0.724555 0.943725 0.96883

3 0.883224 0.89522 0.742321 0.83197 0.952699 0.974827

4 0.883679 0.908033 0.776081 0.848419 0.9619 0.977735

5 0.894311 0.913304 0.830153 0.892857 0.968511 0.980189

6 0.897492 0.917212 0.839399 0.894039 0.963104 0.977281

7 0.88979 0.907306 0.869706 0.914304 0.965921 0.978372

8 0.889427 0.907034 0.882656 0.925391 0.973532 0.980734

9 0.890722 0.906307 0.903194 0.951018 0.975782 0.987459

10 0.896924 0.902308 0.910305 0.941567 0.971624 0.971374

11 0.884996 0.895856 0.919257 0.959833 0.976986 0.982552

12 0.898628 0.925754 0.923687 0.96365 0.97635 0.983824

13 0.901808 0.914667 0.934115 0.961923 0.974918 0.98337

14 0.896356 0.921756 0.928253 0.96365 0.978031 0.983915

15 0.903694 0.921392 0.936796 0.96574 0.978667 0.984369

16 0.903967 0.917121 0.942794 0.970102 0.976531 0.986732

17 0.899696 0.916303 0.944089 0.969829 0.978485 0.981825

18 0.900695 0.923391 0.94293 0.972465 0.978235 0.988459

19 0.903512 0.913577 0.949041 0.973646 0.983733 0.988913

20 0.900127 0.922483 0.949677 0.973101 0.982052 0.989549

21 0.895265 0.915485 0.935751 0.955107 0.979235 0.978917

22 0.90274 0.92012 0.952449 0.973646 0.985551 0.987823

23 0.904966 0.917757 0.953085 0.97619 0.984369 0.985732

24 0.905852 0.929844 0.958879 0.979916 0.982734 0.983824

25 0.898878 0.91285 0.959333 0.980189 0.984347 0.986914

26 0.906761 0.915394 0.960492 0.977463 0.984597 0.99064

27 0.904444 0.911759 0.966058 0.984824 0.986755 0.99064

28 0.905103 0.922846 0.957425 0.976372 0.985687 0.988277

29 0.908806 0.92112 0.959606 0.976009 0.985619 0.99173

30 0.907874 0.914213 0.964195 0.985642 0.985846 0.990004

31 0.899014 0.901763 0.964626 0.985551 0.980734 0.992276

32 0.910555 0.930298 0.96424 0.985187 0.985687 0.985187

33 0.910782 0.917757 0.961469 0.980825 0.986278 0.988459

34 0.8999 0.917666 0.964967 0.985369 0.986391 0.989549

35 0.899855 0.914577 0.970306 0.98655 NaN NaN

36 0.902854 0.916031 0.967489 0.978281 NaN NaN

37 0.900536 0.913304 0.972146 0.987913 NaN NaN

38 0.903921 0.91803 0.968284 0.985642 NaN NaN

39 0.905693 0.919302 0.966898 0.987005 NaN NaN

epoch 34 takes 329 seconds.

[36, 30] loss: 0.061

[36, 60] loss: 0.082

[36, 90] loss: 0.044

[36, 120] loss: 0.061

[36, 150] loss: 0.087

[36, 180] loss: 0.041

[36, 210] loss: 0.081

[36, 240] loss: 0.095

[36, 270] loss: 0.058

[36, 300] loss: 0.075

[36, 330] loss: 0.065

[36, 360] loss: 0.076

[36, 390] loss: 0.043

[36, 420] loss: 0.045

[36, 450] loss: 0.050

[36, 480] loss: 0.073

[36, 510] loss: 0.060

[36, 540] loss: 0.069

[36, 570] loss: 0.040

[36, 600] loss: 0.044

[36, 630] loss: 0.055

[36, 660] loss: 0.052

[36, 690] loss: 0.043

[36, 720] loss: 0.058

[36, 750] loss: 0.067

[36, 780] loss: 0.050

[36, 810] loss: 0.068

[36, 840] loss: 0.067

[36, 870] loss: 0.072

[36, 900] loss: 0.072

[36, 930] loss: 0.044

[36, 960] loss: 0.073

[36, 990] loss: 0.072

[36, 1020] loss: 0.073

[36, 1050] loss: 0.030

[36, 1080] loss: 0.061

[36, 1110] loss: 0.074

[36, 1140] loss: 0.047

[36, 1170] loss: 0.052

[36, 1200] loss: 0.061

[36, 1230] loss: 0.046

[36, 1260] loss: 0.047

[36, 1290] loss: 0.083

[36, 1320] loss: 0.050

[36, 1350] loss: 0.071

[36, 1380] loss: 0.050

[36, 1410] loss: 0.066

[36, 1440] loss: 0.045

[36, 1470] loss: 0.046

[36, 1500] loss: 0.034

[36, 1530] loss: 0.072

[36, 1560] loss: 0.084

[36, 1590] loss: 0.095

[36, 1620] loss: 0.047

[36, 1650] loss: 0.053

[36, 1680] loss: 0.045

[36, 1710] loss: 0.053

[36, 1740] loss: 0.039

[36, 1770] loss: 0.055

[36, 1800] loss: 0.066

[36, 1830] loss: 0.063

[36, 1860] loss: 0.060

[36, 1890] loss: 0.082

[36, 1920] loss: 0.067

[36, 1950] loss: 0.046

[36, 1980] loss: 0.056

[36, 2010] loss: 0.061

[36, 2040] loss: 0.063

[36, 2070] loss: 0.037

[36, 2100] loss: 0.042

[36, 2130] loss: 0.051

[36, 2160] loss: 0.035

[36, 2190] loss: 0.062

ovft_intermediate_models/epoch35_deep.pt saved.


evaluating on training set...

Accuracy on test images: 0.987777

epoch 35 accuracy on train set is: 0.9877771719374773

evaluating on training set takes 106 seconds.

shallow_train shallow_test scratch_train scratch_test deep_train deep_test

0 0.849396 0.875682 0.277854 0.251999 0.923823 0.943384

1 0.868889 0.891948 0.473737 0.542803 0.934456 0.956379

2 0.877249 0.90976 0.651877 0.724555 0.943725 0.96883

3 0.883224 0.89522 0.742321 0.83197 0.952699 0.974827

4 0.883679 0.908033 0.776081 0.848419 0.9619 0.977735

5 0.894311 0.913304 0.830153 0.892857 0.968511 0.980189

6 0.897492 0.917212 0.839399 0.894039 0.963104 0.977281

7 0.88979 0.907306 0.869706 0.914304 0.965921 0.978372

8 0.889427 0.907034 0.882656 0.925391 0.973532 0.980734

9 0.890722 0.906307 0.903194 0.951018 0.975782 0.987459

10 0.896924 0.902308 0.910305 0.941567 0.971624 0.971374

11 0.884996 0.895856 0.919257 0.959833 0.976986 0.982552

12 0.898628 0.925754 0.923687 0.96365 0.97635 0.983824

13 0.901808 0.914667 0.934115 0.961923 0.974918 0.98337

14 0.896356 0.921756 0.928253 0.96365 0.978031 0.983915

15 0.903694 0.921392 0.936796 0.96574 0.978667 0.984369

16 0.903967 0.917121 0.942794 0.970102 0.976531 0.986732

17 0.899696 0.916303 0.944089 0.969829 0.978485 0.981825

18 0.900695 0.923391 0.94293 0.972465 0.978235 0.988459

19 0.903512 0.913577 0.949041 0.973646 0.983733 0.988913

20 0.900127 0.922483 0.949677 0.973101 0.982052 0.989549

21 0.895265 0.915485 0.935751 0.955107 0.979235 0.978917

22 0.90274 0.92012 0.952449 0.973646 0.985551 0.987823

23 0.904966 0.917757 0.953085 0.97619 0.984369 0.985732

24 0.905852 0.929844 0.958879 0.979916 0.982734 0.983824

25 0.898878 0.91285 0.959333 0.980189 0.984347 0.986914

26 0.906761 0.915394 0.960492 0.977463 0.984597 0.99064

27 0.904444 0.911759 0.966058 0.984824 0.986755 0.99064

28 0.905103 0.922846 0.957425 0.976372 0.985687 0.988277

29 0.908806 0.92112 0.959606 0.976009 0.985619 0.99173

30 0.907874 0.914213 0.964195 0.985642 0.985846 0.990004

31 0.899014 0.901763 0.964626 0.985551 0.980734 0.992276

32 0.910555 0.930298 0.96424 0.985187 0.985687 0.985187

33 0.910782 0.917757 0.961469 0.980825 0.986278 0.988459

34 0.8999 0.917666 0.964967 0.985369 0.986391 0.989549

35 0.899855 0.914577 0.970306 0.98655 0.987777 NaN

36 0.902854 0.916031 0.967489 0.978281 NaN NaN

37 0.900536 0.913304 0.972146 0.987913 NaN NaN

38 0.903921 0.91803 0.968284 0.985642 NaN NaN

39 0.905693 0.919302 0.966898 0.987005 NaN NaN

evaluating on test set...

Accuracy on test images: 0.991367

epoch 35 accuracy on test set is: 0.9913667757179208

evaluating on test set takes 34 seconds.

shallow_train shallow_test scratch_train scratch_test deep_train deep_test

0 0.849396 0.875682 0.277854 0.251999 0.923823 0.943384

1 0.868889 0.891948 0.473737 0.542803 0.934456 0.956379

2 0.877249 0.90976 0.651877 0.724555 0.943725 0.96883

3 0.883224 0.89522 0.742321 0.83197 0.952699 0.974827

4 0.883679 0.908033 0.776081 0.848419 0.9619 0.977735

5 0.894311 0.913304 0.830153 0.892857 0.968511 0.980189

6 0.897492 0.917212 0.839399 0.894039 0.963104 0.977281

7 0.88979 0.907306 0.869706 0.914304 0.965921 0.978372

8 0.889427 0.907034 0.882656 0.925391 0.973532 0.980734

9 0.890722 0.906307 0.903194 0.951018 0.975782 0.987459

10 0.896924 0.902308 0.910305 0.941567 0.971624 0.971374

11 0.884996 0.895856 0.919257 0.959833 0.976986 0.982552

12 0.898628 0.925754 0.923687 0.96365 0.97635 0.983824

13 0.901808 0.914667 0.934115 0.961923 0.974918 0.98337

14 0.896356 0.921756 0.928253 0.96365 0.978031 0.983915

15 0.903694 0.921392 0.936796 0.96574 0.978667 0.984369

16 0.903967 0.917121 0.942794 0.970102 0.976531 0.986732

17 0.899696 0.916303 0.944089 0.969829 0.978485 0.981825

18 0.900695 0.923391 0.94293 0.972465 0.978235 0.988459

19 0.903512 0.913577 0.949041 0.973646 0.983733 0.988913

20 0.900127 0.922483 0.949677 0.973101 0.982052 0.989549

21 0.895265 0.915485 0.935751 0.955107 0.979235 0.978917

22 0.90274 0.92012 0.952449 0.973646 0.985551 0.987823

23 0.904966 0.917757 0.953085 0.97619 0.984369 0.985732

24 0.905852 0.929844 0.958879 0.979916 0.982734 0.983824

25 0.898878 0.91285 0.959333 0.980189 0.984347 0.986914

26 0.906761 0.915394 0.960492 0.977463 0.984597 0.99064

27 0.904444 0.911759 0.966058 0.984824 0.986755 0.99064

28 0.905103 0.922846 0.957425 0.976372 0.985687 0.988277

29 0.908806 0.92112 0.959606 0.976009 0.985619 0.99173

30 0.907874 0.914213 0.964195 0.985642 0.985846 0.990004

31 0.899014 0.901763 0.964626 0.985551 0.980734 0.992276

32 0.910555 0.930298 0.96424 0.985187 0.985687 0.985187

33 0.910782 0.917757 0.961469 0.980825 0.986278 0.988459

34 0.8999 0.917666 0.964967 0.985369 0.986391 0.989549

35 0.899855 0.914577 0.970306 0.98655 0.987777 0.991367

36 0.902854 0.916031 0.967489 0.978281 NaN NaN

37 0.900536 0.913304 0.972146 0.987913 NaN NaN

38 0.903921 0.91803 0.968284 0.985642 NaN NaN

39 0.905693 0.919302 0.966898 0.987005 NaN NaN

epoch 35 takes 406 seconds.

[37, 30] loss: 0.046

[37, 60] loss: 0.066

[37, 90] loss: 0.097

[37, 120] loss: 0.051

[37, 150] loss: 0.048

[37, 180] loss: 0.080

[37, 210] loss: 0.056

[37, 240] loss: 0.054

[37, 270] loss: 0.048

[37, 300] loss: 0.055

[37, 330] loss: 0.044

[37, 360] loss: 0.079

[37, 390] loss: 0.064

[37, 420] loss: 0.063

[37, 450] loss: 0.035

[37, 480] loss: 0.086

[37, 510] loss: 0.050

[37, 540] loss: 0.029

[37, 570] loss: 0.058

[37, 600] loss: 0.051

[37, 630] loss: 0.084

[37, 660] loss: 0.060

[37, 690] loss: 0.060

[37, 720] loss: 0.059

[37, 750] loss: 0.083

[37, 780] loss: 0.097

[37, 810] loss: 0.061

[37, 840] loss: 0.059

[37, 870] loss: 0.066

[37, 900] loss: 0.025

[37, 930] loss: 0.046

[37, 960] loss: 0.065

[37, 990] loss: 0.077

[37, 1020] loss: 0.054

[37, 1050] loss: 0.051

[37, 1080] loss: 0.050

[37, 1110] loss: 0.031

[37, 1140] loss: 0.077

[37, 1170] loss: 0.094

[37, 1200] loss: 0.074

[37, 1230] loss: 0.042

[37, 1260] loss: 0.075

[37, 1290] loss: 0.058

[37, 1320] loss: 0.050

[37, 1350] loss: 0.062

[37, 1380] loss: 0.051

[37, 1410] loss: 0.076

[37, 1440] loss: 0.063

[37, 1470] loss: 0.076

[37, 1500] loss: 0.046

[37, 1530] loss: 0.050

[37, 1560] loss: 0.050

[37, 1590] loss: 0.078

[37, 1620] loss: 0.045

[37, 1650] loss: 0.083

[37, 1680] loss: 0.050

[37, 1710] loss: 0.061

[37, 1740] loss: 0.056

[37, 1770] loss: 0.066

[37, 1800] loss: 0.051

[37, 1830] loss: 0.055

[37, 1860] loss: 0.082

[37, 1890] loss: 0.044

[37, 1920] loss: 0.073

[37, 1950] loss: 0.057

[37, 1980] loss: 0.075

[37, 2010] loss: 0.076

[37, 2040] loss: 0.062

[37, 2070] loss: 0.067

[37, 2100] loss: 0.045

[37, 2130] loss: 0.078

[37, 2160] loss: 0.061

[37, 2190] loss: 0.085

ovft_intermediate_models/epoch36_deep.pt saved.


evaluating on training set...

Accuracy on test images: 0.987346

epoch 36 accuracy on train set is: 0.9873455107233733

evaluating on training set takes 66 seconds.

shallow_train shallow_test scratch_train scratch_test deep_train deep_test

0 0.849396 0.875682 0.277854 0.251999 0.923823 0.943384

1 0.868889 0.891948 0.473737 0.542803 0.934456 0.956379

2 0.877249 0.90976 0.651877 0.724555 0.943725 0.96883

3 0.883224 0.89522 0.742321 0.83197 0.952699 0.974827

4 0.883679 0.908033 0.776081 0.848419 0.9619 0.977735

5 0.894311 0.913304 0.830153 0.892857 0.968511 0.980189

6 0.897492 0.917212 0.839399 0.894039 0.963104 0.977281

7 0.88979 0.907306 0.869706 0.914304 0.965921 0.978372

8 0.889427 0.907034 0.882656 0.925391 0.973532 0.980734

9 0.890722 0.906307 0.903194 0.951018 0.975782 0.987459

10 0.896924 0.902308 0.910305 0.941567 0.971624 0.971374

11 0.884996 0.895856 0.919257 0.959833 0.976986 0.982552

12 0.898628 0.925754 0.923687 0.96365 0.97635 0.983824

13 0.901808 0.914667 0.934115 0.961923 0.974918 0.98337

14 0.896356 0.921756 0.928253 0.96365 0.978031 0.983915

15 0.903694 0.921392 0.936796 0.96574 0.978667 0.984369

16 0.903967 0.917121 0.942794 0.970102 0.976531 0.986732

17 0.899696 0.916303 0.944089 0.969829 0.978485 0.981825

18 0.900695 0.923391 0.94293 0.972465 0.978235 0.988459

19 0.903512 0.913577 0.949041 0.973646 0.983733 0.988913

20 0.900127 0.922483 0.949677 0.973101 0.982052 0.989549

21 0.895265 0.915485 0.935751 0.955107 0.979235 0.978917

22 0.90274 0.92012 0.952449 0.973646 0.985551 0.987823

23 0.904966 0.917757 0.953085 0.97619 0.984369 0.985732

24 0.905852 0.929844 0.958879 0.979916 0.982734 0.983824

25 0.898878 0.91285 0.959333 0.980189 0.984347 0.986914

26 0.906761 0.915394 0.960492 0.977463 0.984597 0.99064

27 0.904444 0.911759 0.966058 0.984824 0.986755 0.99064

28 0.905103 0.922846 0.957425 0.976372 0.985687 0.988277

29 0.908806 0.92112 0.959606 0.976009 0.985619 0.99173

30 0.907874 0.914213 0.964195 0.985642 0.985846 0.990004

31 0.899014 0.901763 0.964626 0.985551 0.980734 0.992276

32 0.910555 0.930298 0.96424 0.985187 0.985687 0.985187

33 0.910782 0.917757 0.961469 0.980825 0.986278 0.988459

34 0.8999 0.917666 0.964967 0.985369 0.986391 0.989549

35 0.899855 0.914577 0.970306 0.98655 0.987777 0.991367

36 0.902854 0.916031 0.967489 0.978281 0.987346 NaN

37 0.900536 0.913304 0.972146 0.987913 NaN NaN

38 0.903921 0.91803 0.968284 0.985642 NaN NaN

39 0.905693 0.919302 0.966898 0.987005 NaN NaN

evaluating on test set...

Accuracy on test images: 0.990822

epoch 36 accuracy on test set is: 0.9908215194474737

evaluating on test set takes 17 seconds.

shallow_train shallow_test scratch_train scratch_test deep_train deep_test

0 0.849396 0.875682 0.277854 0.251999 0.923823 0.943384

1 0.868889 0.891948 0.473737 0.542803 0.934456 0.956379

2 0.877249 0.90976 0.651877 0.724555 0.943725 0.96883

3 0.883224 0.89522 0.742321 0.83197 0.952699 0.974827

4 0.883679 0.908033 0.776081 0.848419 0.9619 0.977735

5 0.894311 0.913304 0.830153 0.892857 0.968511 0.980189

6 0.897492 0.917212 0.839399 0.894039 0.963104 0.977281

7 0.88979 0.907306 0.869706 0.914304 0.965921 0.978372

8 0.889427 0.907034 0.882656 0.925391 0.973532 0.980734

9 0.890722 0.906307 0.903194 0.951018 0.975782 0.987459

10 0.896924 0.902308 0.910305 0.941567 0.971624 0.971374

11 0.884996 0.895856 0.919257 0.959833 0.976986 0.982552

12 0.898628 0.925754 0.923687 0.96365 0.97635 0.983824

13 0.901808 0.914667 0.934115 0.961923 0.974918 0.98337

14 0.896356 0.921756 0.928253 0.96365 0.978031 0.983915

15 0.903694 0.921392 0.936796 0.96574 0.978667 0.984369

16 0.903967 0.917121 0.942794 0.970102 0.976531 0.986732

17 0.899696 0.916303 0.944089 0.969829 0.978485 0.981825

18 0.900695 0.923391 0.94293 0.972465 0.978235 0.988459

19 0.903512 0.913577 0.949041 0.973646 0.983733 0.988913

20 0.900127 0.922483 0.949677 0.973101 0.982052 0.989549

21 0.895265 0.915485 0.935751 0.955107 0.979235 0.978917

22 0.90274 0.92012 0.952449 0.973646 0.985551 0.987823

23 0.904966 0.917757 0.953085 0.97619 0.984369 0.985732

24 0.905852 0.929844 0.958879 0.979916 0.982734 0.983824

25 0.898878 0.91285 0.959333 0.980189 0.984347 0.986914

26 0.906761 0.915394 0.960492 0.977463 0.984597 0.99064

27 0.904444 0.911759 0.966058 0.984824 0.986755 0.99064

28 0.905103 0.922846 0.957425 0.976372 0.985687 0.988277

29 0.908806 0.92112 0.959606 0.976009 0.985619 0.99173

30 0.907874 0.914213 0.964195 0.985642 0.985846 0.990004

31 0.899014 0.901763 0.964626 0.985551 0.980734 0.992276

32 0.910555 0.930298 0.96424 0.985187 0.985687 0.985187

33 0.910782 0.917757 0.961469 0.980825 0.986278 0.988459

34 0.8999 0.917666 0.964967 0.985369 0.986391 0.989549

35 0.899855 0.914577 0.970306 0.98655 0.987777 0.991367

36 0.902854 0.916031 0.967489 0.978281 0.987346 0.990822

37 0.900536 0.913304 0.972146 0.987913 NaN NaN

38 0.903921 0.91803 0.968284 0.985642 NaN NaN

39 0.905693 0.919302 0.966898 0.987005 NaN NaN

epoch 36 takes 426 seconds.

[38, 30] loss: 0.082

[38, 60] loss: 0.046

[38, 90] loss: 0.058

[38, 120] loss: 0.060

[38, 150] loss: 0.041

[38, 180] loss: 0.028

[38, 210] loss: 0.060

[38, 240] loss: 0.086

[38, 270] loss: 0.048

[38, 300] loss: 0.050

[38, 330] loss: 0.048

[38, 360] loss: 0.052

[38, 390] loss: 0.092

[38, 420] loss: 0.061

[38, 450] loss: 0.067

[38, 480] loss: 0.021

[38, 510] loss: 0.063

[38, 540] loss: 0.042

[38, 570] loss: 0.077

[38, 600] loss: 0.081

[38, 630] loss: 0.050

[38, 660] loss: 0.083

[38, 690] loss: 0.071

[38, 720] loss: 0.038

[38, 750] loss: 0.064

[38, 780] loss: 0.066

[38, 810] loss: 0.062

[38, 840] loss: 0.053

[38, 870] loss: 0.076

[38, 900] loss: 0.090

[38, 930] loss: 0.050

[38, 960] loss: 0.113

[38, 990] loss: 0.061

[38, 1020] loss: 0.049

[38, 1050] loss: 0.053

[38, 1080] loss: 0.057

[38, 1110] loss: 0.072

[38, 1140] loss: 0.055

[38, 1170] loss: 0.039

[38, 1200] loss: 0.053

[38, 1230] loss: 0.073

[38, 1260] loss: 0.093

[38, 1290] loss: 0.040

[38, 1320] loss: 0.035

[38, 1350] loss: 0.065

[38, 1380] loss: 0.071

[38, 1410] loss: 0.091

[38, 1440] loss: 0.070

[38, 1470] loss: 0.052

[38, 1500] loss: 0.080

[38, 1530] loss: 0.047

[38, 1560] loss: 0.032

[38, 1590] loss: 0.047

[38, 1620] loss: 0.045

[38, 1650] loss: 0.049

[38, 1680] loss: 0.039

[38, 1710] loss: 0.086

[38, 1740] loss: 0.056

[38, 1770] loss: 0.061

[38, 1800] loss: 0.073

[38, 1830] loss: 0.045

[38, 1860] loss: 0.047

[38, 1890] loss: 0.076

[38, 1920] loss: 0.084

[38, 1950] loss: 0.073

[38, 1980] loss: 0.059

[38, 2010] loss: 0.059

[38, 2040] loss: 0.073

[38, 2070] loss: 0.070

[38, 2100] loss: 0.075

[38, 2130] loss: 0.055

[38, 2160] loss: 0.068

[38, 2190] loss: 0.101

ovft_intermediate_models/epoch37_deep.pt saved.


evaluating on training set...

Accuracy on test images: 0.985710

epoch 37 accuracy on train set is: 0.985709741912032

evaluating on training set takes 67 seconds.

shallow_train shallow_test scratch_train scratch_test deep_train deep_test

0 0.849396 0.875682 0.277854 0.251999 0.923823 0.943384

1 0.868889 0.891948 0.473737 0.542803 0.934456 0.956379

2 0.877249 0.90976 0.651877 0.724555 0.943725 0.96883

3 0.883224 0.89522 0.742321 0.83197 0.952699 0.974827

4 0.883679 0.908033 0.776081 0.848419 0.9619 0.977735

5 0.894311 0.913304 0.830153 0.892857 0.968511 0.980189

6 0.897492 0.917212 0.839399 0.894039 0.963104 0.977281

7 0.88979 0.907306 0.869706 0.914304 0.965921 0.978372

8 0.889427 0.907034 0.882656 0.925391 0.973532 0.980734

9 0.890722 0.906307 0.903194 0.951018 0.975782 0.987459

10 0.896924 0.902308 0.910305 0.941567 0.971624 0.971374

11 0.884996 0.895856 0.919257 0.959833 0.976986 0.982552

12 0.898628 0.925754 0.923687 0.96365 0.97635 0.983824

13 0.901808 0.914667 0.934115 0.961923 0.974918 0.98337

14 0.896356 0.921756 0.928253 0.96365 0.978031 0.983915

15 0.903694 0.921392 0.936796 0.96574 0.978667 0.984369

16 0.903967 0.917121 0.942794 0.970102 0.976531 0.986732

17 0.899696 0.916303 0.944089 0.969829 0.978485 0.981825

18 0.900695 0.923391 0.94293 0.972465 0.978235 0.988459

19 0.903512 0.913577 0.949041 0.973646 0.983733 0.988913

20 0.900127 0.922483 0.949677 0.973101 0.982052 0.989549

21 0.895265 0.915485 0.935751 0.955107 0.979235 0.978917

22 0.90274 0.92012 0.952449 0.973646 0.985551 0.987823

23 0.904966 0.917757 0.953085 0.97619 0.984369 0.985732

24 0.905852 0.929844 0.958879 0.979916 0.982734 0.983824

25 0.898878 0.91285 0.959333 0.980189 0.984347 0.986914

26 0.906761 0.915394 0.960492 0.977463 0.984597 0.99064

27 0.904444 0.911759 0.966058 0.984824 0.986755 0.99064

28 0.905103 0.922846 0.957425 0.976372 0.985687 0.988277

29 0.908806 0.92112 0.959606 0.976009 0.985619 0.99173

30 0.907874 0.914213 0.964195 0.985642 0.985846 0.990004

31 0.899014 0.901763 0.964626 0.985551 0.980734 0.992276

32 0.910555 0.930298 0.96424 0.985187 0.985687 0.985187

33 0.910782 0.917757 0.961469 0.980825 0.986278 0.988459

34 0.8999 0.917666 0.964967 0.985369 0.986391 0.989549

35 0.899855 0.914577 0.970306 0.98655 0.987777 0.991367

36 0.902854 0.916031 0.967489 0.978281 0.987346 0.990822

37 0.900536 0.913304 0.972146 0.987913 0.98571 NaN

38 0.903921 0.91803 0.968284 0.985642 NaN NaN

39 0.905693 0.919302 0.966898 0.987005 NaN NaN

evaluating on test set...

Accuracy on test images: 0.987186

epoch 37 accuracy on test set is: 0.987186477644493

evaluating on test set takes 19 seconds.

shallow_train shallow_test scratch_train scratch_test deep_train deep_test

0 0.849396 0.875682 0.277854 0.251999 0.923823 0.943384

1 0.868889 0.891948 0.473737 0.542803 0.934456 0.956379

2 0.877249 0.90976 0.651877 0.724555 0.943725 0.96883

3 0.883224 0.89522 0.742321 0.83197 0.952699 0.974827

4 0.883679 0.908033 0.776081 0.848419 0.9619 0.977735

5 0.894311 0.913304 0.830153 0.892857 0.968511 0.980189

6 0.897492 0.917212 0.839399 0.894039 0.963104 0.977281

7 0.88979 0.907306 0.869706 0.914304 0.965921 0.978372

8 0.889427 0.907034 0.882656 0.925391 0.973532 0.980734

9 0.890722 0.906307 0.903194 0.951018 0.975782 0.987459

10 0.896924 0.902308 0.910305 0.941567 0.971624 0.971374

11 0.884996 0.895856 0.919257 0.959833 0.976986 0.982552

12 0.898628 0.925754 0.923687 0.96365 0.97635 0.983824

13 0.901808 0.914667 0.934115 0.961923 0.974918 0.98337

14 0.896356 0.921756 0.928253 0.96365 0.978031 0.983915

15 0.903694 0.921392 0.936796 0.96574 0.978667 0.984369

16 0.903967 0.917121 0.942794 0.970102 0.976531 0.986732

17 0.899696 0.916303 0.944089 0.969829 0.978485 0.981825

18 0.900695 0.923391 0.94293 0.972465 0.978235 0.988459

19 0.903512 0.913577 0.949041 0.973646 0.983733 0.988913

20 0.900127 0.922483 0.949677 0.973101 0.982052 0.989549

21 0.895265 0.915485 0.935751 0.955107 0.979235 0.978917

22 0.90274 0.92012 0.952449 0.973646 0.985551 0.987823

23 0.904966 0.917757 0.953085 0.97619 0.984369 0.985732

24 0.905852 0.929844 0.958879 0.979916 0.982734 0.983824

25 0.898878 0.91285 0.959333 0.980189 0.984347 0.986914

26 0.906761 0.915394 0.960492 0.977463 0.984597 0.99064

27 0.904444 0.911759 0.966058 0.984824 0.986755 0.99064

28 0.905103 0.922846 0.957425 0.976372 0.985687 0.988277

29 0.908806 0.92112 0.959606 0.976009 0.985619 0.99173

30 0.907874 0.914213 0.964195 0.985642 0.985846 0.990004

31 0.899014 0.901763 0.964626 0.985551 0.980734 0.992276

32 0.910555 0.930298 0.96424 0.985187 0.985687 0.985187

33 0.910782 0.917757 0.961469 0.980825 0.986278 0.988459

34 0.8999 0.917666 0.964967 0.985369 0.986391 0.989549

35 0.899855 0.914577 0.970306 0.98655 0.987777 0.991367

36 0.902854 0.916031 0.967489 0.978281 0.987346 0.990822

37 0.900536 0.913304 0.972146 0.987913 0.98571 0.987186

38 0.903921 0.91803 0.968284 0.985642 NaN NaN

39 0.905693 0.919302 0.966898 0.987005 NaN NaN

epoch 37 takes 332 seconds.

[39, 30] loss: 0.093

[39, 60] loss: 0.064

[39, 90] loss: 0.047

[39, 120] loss: 0.042

[39, 150] loss: 0.057

[39, 180] loss: 0.041

[39, 210] loss: 0.027

[39, 240] loss: 0.068

[39, 270] loss: 0.054

[39, 300] loss: 0.094

[39, 330] loss: 0.045

[39, 360] loss: 0.057

[39, 390] loss: 0.049

[39, 420] loss: 0.054

[39, 450] loss: 0.054

[39, 480] loss: 0.060

[39, 510] loss: 0.049

[39, 540] loss: 0.065

[39, 570] loss: 0.045

[39, 600] loss: 0.052

[39, 630] loss: 0.067

[39, 660] loss: 0.062

[39, 690] loss: 0.055

[39, 720] loss: 0.100

[39, 750] loss: 0.083

[39, 780] loss: 0.110

[39, 810] loss: 0.053

[39, 840] loss: 0.053

[39, 870] loss: 0.049

[39, 900] loss: 0.059

[39, 930] loss: 0.079

[39, 960] loss: 0.045

[39, 990] loss: 0.060

[39, 1020] loss: 0.055

[39, 1050] loss: 0.052

[39, 1080] loss: 0.061

[39, 1110] loss: 0.054

[39, 1140] loss: 0.050

[39, 1170] loss: 0.045

[39, 1200] loss: 0.044

[39, 1230] loss: 0.064

[39, 1260] loss: 0.050

[39, 1290] loss: 0.045

[39, 1320] loss: 0.076

[39, 1350] loss: 0.075

[39, 1380] loss: 0.077

[39, 1410] loss: 0.046

[39, 1440] loss: 0.051

[39, 1470] loss: 0.053

[39, 1500] loss: 0.063

[39, 1530] loss: 0.034

[39, 1560] loss: 0.057

[39, 1590] loss: 0.037

[39, 1620] loss: 0.125

[39, 1650] loss: 0.034

[39, 1680] loss: 0.069

[39, 1710] loss: 0.059

[39, 1740] loss: 0.053

[39, 1770] loss: 0.066

[39, 1800] loss: 0.076

[39, 1830] loss: 0.061

[39, 1860] loss: 0.062

[39, 1890] loss: 0.053

[39, 1920] loss: 0.054

[39, 1950] loss: 0.064

[39, 1980] loss: 0.077

[39, 2010] loss: 0.062

[39, 2040] loss: 0.088

[39, 2070] loss: 0.073

[39, 2100] loss: 0.044

[39, 2130] loss: 0.044

[39, 2160] loss: 0.066

[39, 2190] loss: 0.049

ovft_intermediate_models/epoch38_deep.pt saved.


evaluating on training set...

Accuracy on test images: 0.984347

epoch 38 accuracy on train set is: 0.9843466012359142

evaluating on training set takes 65 seconds.

shallow_train shallow_test scratch_train scratch_test deep_train deep_test

0 0.849396 0.875682 0.277854 0.251999 0.923823 0.943384

1 0.868889 0.891948 0.473737 0.542803 0.934456 0.956379

2 0.877249 0.90976 0.651877 0.724555 0.943725 0.96883

3 0.883224 0.89522 0.742321 0.83197 0.952699 0.974827

4 0.883679 0.908033 0.776081 0.848419 0.9619 0.977735

5 0.894311 0.913304 0.830153 0.892857 0.968511 0.980189

6 0.897492 0.917212 0.839399 0.894039 0.963104 0.977281

7 0.88979 0.907306 0.869706 0.914304 0.965921 0.978372

8 0.889427 0.907034 0.882656 0.925391 0.973532 0.980734

9 0.890722 0.906307 0.903194 0.951018 0.975782 0.987459

10 0.896924 0.902308 0.910305 0.941567 0.971624 0.971374

11 0.884996 0.895856 0.919257 0.959833 0.976986 0.982552

12 0.898628 0.925754 0.923687 0.96365 0.97635 0.983824

13 0.901808 0.914667 0.934115 0.961923 0.974918 0.98337

14 0.896356 0.921756 0.928253 0.96365 0.978031 0.983915

15 0.903694 0.921392 0.936796 0.96574 0.978667 0.984369

16 0.903967 0.917121 0.942794 0.970102 0.976531 0.986732

17 0.899696 0.916303 0.944089 0.969829 0.978485 0.981825

18 0.900695 0.923391 0.94293 0.972465 0.978235 0.988459

19 0.903512 0.913577 0.949041 0.973646 0.983733 0.988913

20 0.900127 0.922483 0.949677 0.973101 0.982052 0.989549

21 0.895265 0.915485 0.935751 0.955107 0.979235 0.978917

22 0.90274 0.92012 0.952449 0.973646 0.985551 0.987823

23 0.904966 0.917757 0.953085 0.97619 0.984369 0.985732

24 0.905852 0.929844 0.958879 0.979916 0.982734 0.983824

25 0.898878 0.91285 0.959333 0.980189 0.984347 0.986914

26 0.906761 0.915394 0.960492 0.977463 0.984597 0.99064

27 0.904444 0.911759 0.966058 0.984824 0.986755 0.99064

28 0.905103 0.922846 0.957425 0.976372 0.985687 0.988277

29 0.908806 0.92112 0.959606 0.976009 0.985619 0.99173

30 0.907874 0.914213 0.964195 0.985642 0.985846 0.990004

31 0.899014 0.901763 0.964626 0.985551 0.980734 0.992276

32 0.910555 0.930298 0.96424 0.985187 0.985687 0.985187

33 0.910782 0.917757 0.961469 0.980825 0.986278 0.988459

34 0.8999 0.917666 0.964967 0.985369 0.986391 0.989549

35 0.899855 0.914577 0.970306 0.98655 0.987777 0.991367

36 0.902854 0.916031 0.967489 0.978281 0.987346 0.990822

37 0.900536 0.913304 0.972146 0.987913 0.98571 0.987186

38 0.903921 0.91803 0.968284 0.985642 0.984347 NaN

39 0.905693 0.919302 0.966898 0.987005 NaN NaN

evaluating on test set...

Accuracy on test images: 0.987823

epoch 38 accuracy on test set is: 0.9878226099600146

evaluating on test set takes 16 seconds.

shallow_train shallow_test scratch_train scratch_test deep_train deep_test

0 0.849396 0.875682 0.277854 0.251999 0.923823 0.943384

1 0.868889 0.891948 0.473737 0.542803 0.934456 0.956379

2 0.877249 0.90976 0.651877 0.724555 0.943725 0.96883

3 0.883224 0.89522 0.742321 0.83197 0.952699 0.974827

4 0.883679 0.908033 0.776081 0.848419 0.9619 0.977735

5 0.894311 0.913304 0.830153 0.892857 0.968511 0.980189

6 0.897492 0.917212 0.839399 0.894039 0.963104 0.977281

7 0.88979 0.907306 0.869706 0.914304 0.965921 0.978372

8 0.889427 0.907034 0.882656 0.925391 0.973532 0.980734

9 0.890722 0.906307 0.903194 0.951018 0.975782 0.987459

10 0.896924 0.902308 0.910305 0.941567 0.971624 0.971374

11 0.884996 0.895856 0.919257 0.959833 0.976986 0.982552

12 0.898628 0.925754 0.923687 0.96365 0.97635 0.983824

13 0.901808 0.914667 0.934115 0.961923 0.974918 0.98337

14 0.896356 0.921756 0.928253 0.96365 0.978031 0.983915

15 0.903694 0.921392 0.936796 0.96574 0.978667 0.984369

16 0.903967 0.917121 0.942794 0.970102 0.976531 0.986732

17 0.899696 0.916303 0.944089 0.969829 0.978485 0.981825

18 0.900695 0.923391 0.94293 0.972465 0.978235 0.988459

19 0.903512 0.913577 0.949041 0.973646 0.983733 0.988913

20 0.900127 0.922483 0.949677 0.973101 0.982052 0.989549

21 0.895265 0.915485 0.935751 0.955107 0.979235 0.978917

22 0.90274 0.92012 0.952449 0.973646 0.985551 0.987823

23 0.904966 0.917757 0.953085 0.97619 0.984369 0.985732

24 0.905852 0.929844 0.958879 0.979916 0.982734 0.983824

25 0.898878 0.91285 0.959333 0.980189 0.984347 0.986914

26 0.906761 0.915394 0.960492 0.977463 0.984597 0.99064

27 0.904444 0.911759 0.966058 0.984824 0.986755 0.99064

28 0.905103 0.922846 0.957425 0.976372 0.985687 0.988277

29 0.908806 0.92112 0.959606 0.976009 0.985619 0.99173

30 0.907874 0.914213 0.964195 0.985642 0.985846 0.990004

31 0.899014 0.901763 0.964626 0.985551 0.980734 0.992276

32 0.910555 0.930298 0.96424 0.985187 0.985687 0.985187

33 0.910782 0.917757 0.961469 0.980825 0.986278 0.988459

34 0.8999 0.917666 0.964967 0.985369 0.986391 0.989549

35 0.899855 0.914577 0.970306 0.98655 0.987777 0.991367

36 0.902854 0.916031 0.967489 0.978281 0.987346 0.990822

37 0.900536 0.913304 0.972146 0.987913 0.98571 0.987186

38 0.903921 0.91803 0.968284 0.985642 0.984347 0.987823

39 0.905693 0.919302 0.966898 0.987005 NaN NaN

epoch 38 takes 345 seconds.

[40, 30] loss: 0.044

[40, 60] loss: 0.041

[40, 90] loss: 0.027

[40, 120] loss: 0.078

[40, 150] loss: 0.048

[40, 180] loss: 0.078

[40, 210] loss: 0.056

[40, 240] loss: 0.056

[40, 270] loss: 0.052

[40, 300] loss: 0.037

[40, 330] loss: 0.044

[40, 360] loss: 0.037

[40, 390] loss: 0.067

[40, 420] loss: 0.038

[40, 450] loss: 0.052

[40, 480] loss: 0.049

[40, 510] loss: 0.043

[40, 540] loss: 0.075

[40, 570] loss: 0.048

[40, 600] loss: 0.065

[40, 630] loss: 0.041

[40, 660] loss: 0.065

[40, 690] loss: 0.033

[40, 720] loss: 0.034

[40, 750] loss: 0.030

[40, 780] loss: 0.054

[40, 810] loss: 0.029

[40, 840] loss: 0.038

[40, 870] loss: 0.047

[40, 900] loss: 0.079

[40, 930] loss: 0.078

[40, 960] loss: 0.063

[40, 990] loss: 0.060

[40, 1020] loss: 0.041

[40, 1050] loss: 0.059

[40, 1080] loss: 0.053

[40, 1110] loss: 0.049

[40, 1140] loss: 0.047

[40, 1170] loss: 0.064

[40, 1200] loss: 0.070

[40, 1230] loss: 0.064

[40, 1260] loss: 0.084

[40, 1290] loss: 0.082

[40, 1320] loss: 0.083

[40, 1350] loss: 0.053

[40, 1380] loss: 0.052

[40, 1410] loss: 0.065

[40, 1440] loss: 0.028

[40, 1470] loss: 0.070

[40, 1500] loss: 0.059

[40, 1530] loss: 0.052

[40, 1560] loss: 0.053

[40, 1590] loss: 0.053

[40, 1620] loss: 0.034

[40, 1650] loss: 0.071

[40, 1680] loss: 0.046

[40, 1710] loss: 0.029

[40, 1740] loss: 0.034

[40, 1770] loss: 0.067

[40, 1800] loss: 0.068

[40, 1830] loss: 0.050

[40, 1860] loss: 0.072

[40, 1890] loss: 0.060

[40, 1920] loss: 0.065

[40, 1950] loss: 0.068

[40, 1980] loss: 0.036

[40, 2010] loss: 0.052

[40, 2040] loss: 0.042

[40, 2070] loss: 0.082

[40, 2100] loss: 0.064

[40, 2130] loss: 0.042

[40, 2160] loss: 0.059

[40, 2190] loss: 0.041

ovft_intermediate_models/epoch39_deep.pt saved.


evaluating on training set...

Accuracy on test images: 0.986709

epoch 39 accuracy on train set is: 0.9867093784078517

evaluating on training set takes 65 seconds.

shallow_train shallow_test scratch_train scratch_test deep_train deep_test

0 0.849396 0.875682 0.277854 0.251999 0.923823 0.943384

1 0.868889 0.891948 0.473737 0.542803 0.934456 0.956379

2 0.877249 0.90976 0.651877 0.724555 0.943725 0.96883

3 0.883224 0.89522 0.742321 0.83197 0.952699 0.974827

4 0.883679 0.908033 0.776081 0.848419 0.9619 0.977735

5 0.894311 0.913304 0.830153 0.892857 0.968511 0.980189

6 0.897492 0.917212 0.839399 0.894039 0.963104 0.977281

7 0.88979 0.907306 0.869706 0.914304 0.965921 0.978372

8 0.889427 0.907034 0.882656 0.925391 0.973532 0.980734

9 0.890722 0.906307 0.903194 0.951018 0.975782 0.987459

10 0.896924 0.902308 0.910305 0.941567 0.971624 0.971374

11 0.884996 0.895856 0.919257 0.959833 0.976986 0.982552

12 0.898628 0.925754 0.923687 0.96365 0.97635 0.983824

13 0.901808 0.914667 0.934115 0.961923 0.974918 0.98337

14 0.896356 0.921756 0.928253 0.96365 0.978031 0.983915

15 0.903694 0.921392 0.936796 0.96574 0.978667 0.984369

16 0.903967 0.917121 0.942794 0.970102 0.976531 0.986732

17 0.899696 0.916303 0.944089 0.969829 0.978485 0.981825

18 0.900695 0.923391 0.94293 0.972465 0.978235 0.988459

19 0.903512 0.913577 0.949041 0.973646 0.983733 0.988913

20 0.900127 0.922483 0.949677 0.973101 0.982052 0.989549

21 0.895265 0.915485 0.935751 0.955107 0.979235 0.978917

22 0.90274 0.92012 0.952449 0.973646 0.985551 0.987823

23 0.904966 0.917757 0.953085 0.97619 0.984369 0.985732

24 0.905852 0.929844 0.958879 0.979916 0.982734 0.983824

25 0.898878 0.91285 0.959333 0.980189 0.984347 0.986914

26 0.906761 0.915394 0.960492 0.977463 0.984597 0.99064

27 0.904444 0.911759 0.966058 0.984824 0.986755 0.99064

28 0.905103 0.922846 0.957425 0.976372 0.985687 0.988277

29 0.908806 0.92112 0.959606 0.976009 0.985619 0.99173

30 0.907874 0.914213 0.964195 0.985642 0.985846 0.990004

31 0.899014 0.901763 0.964626 0.985551 0.980734 0.992276

32 0.910555 0.930298 0.96424 0.985187 0.985687 0.985187

33 0.910782 0.917757 0.961469 0.980825 0.986278 0.988459

34 0.8999 0.917666 0.964967 0.985369 0.986391 0.989549

35 0.899855 0.914577 0.970306 0.98655 0.987777 0.991367

36 0.902854 0.916031 0.967489 0.978281 0.987346 0.990822

37 0.900536 0.913304 0.972146 0.987913 0.98571 0.987186

38 0.903921 0.91803 0.968284 0.985642 0.984347 0.987823

39 0.905693 0.919302 0.966898 0.987005 0.986709 NaN

evaluating on test set...

Accuracy on test images: 0.990731

epoch 39 accuracy on test set is: 0.9907306434023991

evaluating on test set takes 16 seconds.

shallow_train shallow_test scratch_train scratch_test deep_train deep_test

0 0.849396 0.875682 0.277854 0.251999 0.923823 0.943384

1 0.868889 0.891948 0.473737 0.542803 0.934456 0.956379

2 0.877249 0.90976 0.651877 0.724555 0.943725 0.96883

3 0.883224 0.89522 0.742321 0.83197 0.952699 0.974827

4 0.883679 0.908033 0.776081 0.848419 0.9619 0.977735

5 0.894311 0.913304 0.830153 0.892857 0.968511 0.980189

6 0.897492 0.917212 0.839399 0.894039 0.963104 0.977281

7 0.88979 0.907306 0.869706 0.914304 0.965921 0.978372

8 0.889427 0.907034 0.882656 0.925391 0.973532 0.980734

9 0.890722 0.906307 0.903194 0.951018 0.975782 0.987459

10 0.896924 0.902308 0.910305 0.941567 0.971624 0.971374

11 0.884996 0.895856 0.919257 0.959833 0.976986 0.982552

12 0.898628 0.925754 0.923687 0.96365 0.97635 0.983824

13 0.901808 0.914667 0.934115 0.961923 0.974918 0.98337

14 0.896356 0.921756 0.928253 0.96365 0.978031 0.983915

15 0.903694 0.921392 0.936796 0.96574 0.978667 0.984369

16 0.903967 0.917121 0.942794 0.970102 0.976531 0.986732

17 0.899696 0.916303 0.944089 0.969829 0.978485 0.981825

18 0.900695 0.923391 0.94293 0.972465 0.978235 0.988459

19 0.903512 0.913577 0.949041 0.973646 0.983733 0.988913

20 0.900127 0.922483 0.949677 0.973101 0.982052 0.989549

21 0.895265 0.915485 0.935751 0.955107 0.979235 0.978917

22 0.90274 0.92012 0.952449 0.973646 0.985551 0.987823

23 0.904966 0.917757 0.953085 0.97619 0.984369 0.985732

24 0.905852 0.929844 0.958879 0.979916 0.982734 0.983824

25 0.898878 0.91285 0.959333 0.980189 0.984347 0.986914

26 0.906761 0.915394 0.960492 0.977463 0.984597 0.99064

27 0.904444 0.911759 0.966058 0.984824 0.986755 0.99064

28 0.905103 0.922846 0.957425 0.976372 0.985687 0.988277

29 0.908806 0.92112 0.959606 0.976009 0.985619 0.99173

30 0.907874 0.914213 0.964195 0.985642 0.985846 0.990004

31 0.899014 0.901763 0.964626 0.985551 0.980734 0.992276

32 0.910555 0.930298 0.96424 0.985187 0.985687 0.985187

33 0.910782 0.917757 0.961469 0.980825 0.986278 0.988459

34 0.8999 0.917666 0.964967 0.985369 0.986391 0.989549

35 0.899855 0.914577 0.970306 0.98655 0.987777 0.991367

36 0.902854 0.916031 0.967489 0.978281 0.987346 0.990822

37 0.900536 0.913304 0.972146 0.987913 0.98571 0.987186

38 0.903921 0.91803 0.968284 0.985642 0.984347 0.987823

39 0.905693 0.919302 0.966898 0.987005 0.986709 0.990731

epoch 39 takes 346 seconds.

Finished Training

Evaluating...

Accuracy on test images: 0.990731



In [2]: